ML
文章平均质量分 79
JeJe_33
金融ITdoge
展开
-
Resnet 50 残差网络
1.简述resnet50是何凯明提出,能有效解决深度网络退化问题的一种结构,将输入的多重非线性变化拟合变成了拟合输入与输出的残差,变为恒等映射,50即50层膜拜巨神:https://github.com/KaimingHe2.基础框架将block分为两类,block1适用于resnet34及以下,仅有两层结构,需要注意的是,至少应该保证两层,如果只有一层,即out=F(x,wi)+x=wix+b+xout=F(x,w_i)+x=w_ix+b+xout=F(x,wi)+x=wix+b+x仍为线原创 2021-07-16 13:21:58 · 5881 阅读 · 0 评论 -
tensorflow常用函数
张量:多维数组#零向量tf.zeros()#1数组tf.ones()#自定义全a数组tf.fill([2,2],a)#2*2大小#创建常量tf.constant(内容,dtype=数据类型)#生成正态随机数tf.random.normal(维度,mean=均值,stddev=标准差)#生成截断式正态随机数,数据更加集中tf.random.trancated_normal()#均匀分布随机数tf.random.uniform(维度,minval=,maxval=)#更改数据类型原创 2021-06-17 10:58:36 · 95 阅读 · 1 评论 -
LGSS-一种多模态电影幕分割方法
1.简介该方法发布于IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2020,由 港中文商汤联合实验室与香港中文大学合作发作GitHub地址:https://github.com/AnyiRao/SceneSeg网站地址:https://anyirao.com/projects/SceneSeg.html...原创 2021-06-15 21:19:15 · 2869 阅读 · 2 评论 -
LSA算法——潜在语义分析概率潜在语义分析
1.简介LSA使一种无监督学习方法,主要用于文本的话题分析,其特点使通过矩阵分解发现文本与单词之间的基于话题的语义关系。潜在语义分析通常将文本集合表示为单词-文本矩阵,对单词-文本矩阵进行奇异值分解或非负矩阵分解(non-negative matrix factorizatiion,NMF),从而得到话题向量空间以及文本在话题向量空间的表示。2.相关概念2.1 单词向量空间给定一个含有n个文本的集合D={d1,d2,...,dn}D=\{d_1,d_2,...,d_n\}D={d1,d2,...原创 2021-05-15 20:04:27 · 1748 阅读 · 0 评论 -
主成分分析法PCA
1.简介主成分分析(principal component analysis,PCA)是一种常见的无监督学习方法,其通过正交变化将线性相关变量表示的观测数据转换为少数几个由线性无关变量表示的数据,线性无关的变量称为主成分。主成分的个数通常小于原始变量个数,因此可以通过主成分分析进行降维。PCA常用于发现数据的基本结构及用于其他机器学习方法的预处理。主成分分析先将给定数据规范化,使得每一变量均值为0,方差为1,然后通过正交变换变成由若干个线性无关的新变量表示的数据。新变量是可能的正交变换中变量的方差的和(原创 2021-05-10 08:23:25 · 382 阅读 · 1 评论 -
无监督学习-SVD奇异值分解
1.定理及性质1.1基础概念奇异值分解(singular value decomposition)是一种矩阵因子分解方法,即任意m x n矩阵,都可以分解为三个矩阵的乘积(因子分解),分别为m阶正交矩阵,由降序排列的非负的对角线元素组成的m x n对角矩阵以及n阶正交矩阵。奇异值必定存在但不唯一,可以看成矩阵数据压缩的一种方法,即用因子分解的方式近似地表示原始矩阵,这种近似是在平方损失最优情况下的近似。A=UσVTA=U\sigma{V^T}A=UσVT条件:UUT=IUU^T=IUUT=IV原创 2021-05-02 23:22:21 · 473 阅读 · 0 评论 -
聚类方法
1.基本概念1.1 相似度或距离聚类的核心概念是相似度(similarity)或距离(distance),有多种相似度或距离的定义,根据问题特性选择不同相似度。1.1.1 闵可夫斯基距离闵可夫斯基距离越大相似度越小,距离越小相似度越大dij=(∑1m∣xki−xkj∣p)1pd_{ij}=(\sum^m_1|x_{ki}-x_{kj}|^p)^\frac{1}{p}dij=(∑1m∣xki−xkj∣p)p1当p=1时,称为曼哈顿距离当p=2时,称为欧氏距离当p=∞时称为切比雪夫距离原创 2021-04-19 18:44:53 · 157 阅读 · 0 评论 -
提升AdaBoost与提升树(boosting tree)
1.简介原创 2021-04-03 13:51:58 · 241 阅读 · 2 评论 -
神经网络
1.简介神经网络可以看成是含有多个变换层的感知机模型,变换层会把上一层的输出当成输入,经过一番内部护理后把输出传给下一层。一般而言,神经网络算法包含以下三部分将输入经过多层变换层后得到输出将输出与真值比较得到损失函数梯度利用梯度更新模型各参数2.前向传导算法3.常见激活函数3.1逻辑函数sigmoidϕ(x)=11+e−x\phi(x)=\frac{1}{1+e^{-x}}ϕ(x)=1+e−x13.2正切函数ϕ(x)=tanh(x)=1−e−2x1+e−2x\phi(x)=tan原创 2021-03-01 00:18:06 · 252 阅读 · 0 评论 -
感知机模型
1.简介感知机(perceptron)对应于输入空间(特征空间)中将实例划分为正负两类分离超平面,属于判别模型,是神经网络及支持向量机的基础。2.感知机模型2.1感知机若输入空间(特征空间)为χ∈Rn\chi\in R^nχ∈Rn输出空间为Y∈{+1,−1}Y\in\{+1,-1\}Y∈{+1,−1}输入x表示实例的特征向量,对应于输入空间的点,输出y表示实例类别。对应函数表示为f(x)=sign(wx+b)f(x)=sign(wx+b)f(x)=sign(wx+b)则为感知机。w为权值向量,b原创 2021-02-21 21:19:01 · 197 阅读 · 1 评论 -
SVM支持向量机模型-SMO最小最优算法
1.支持向量机简介支持向量机是一种二类分类模型,定义在特征空间上的间隔最大的线性分类器,间隔最大使其有别于感知机。即求解凸二次规划的最优化算法,包括线性可分支持向量机,线性支持向量机以及非线性支持向量机三种。2.线性可分支持向量机训练数据线性可分时调用,通过硬间隔最大化学习2.1函数间隔对于给定训练数据集T与超平面(w,b),定义超平面关于样本点的函数间隔为γi′=yi(wxi+b)\gamma_i'=y_i(wx_i+b)γi′=yi(wxi+b)定义超平面关于训练集的函数间隔为超平原创 2021-02-20 04:43:21 · 302 阅读 · 0 评论 -
机器学习分类问题常用评判指标
1.分类问题1.混淆矩阵[TPFPFNTN]\begin{bmatrix}TP&FP\\\\FN&TN\\\\\end{bmatrix}⎣⎢⎢⎡TPFNFPTN⎦⎥⎥⎤真正率:TPR=TP/(TP+FN)假正率:FPR=FP/(FP+TN)假负率:FNR=FN/(FN+TP)真负率:TNR=TN/(TN+FP)from sklearn.metrics import confusion_matrix2.准确率即正确预测的例子(正与负)除以总数accuracy原创 2021-02-17 03:13:11 · 2627 阅读 · 4 评论 -
逻辑斯谛回归logistic regression-最大熵
1.定义1.1逻辑斯谛分布服从逻辑斯谛分布的X具有以下分布函数与密度函数F(x)=P(X≤x)=11+e−(x−μ)γF(x)=P(X\leq x)=\frac{1}{1+e^{\frac{-(x-\mu)}{\gamma}}}F(x)=P(X≤x)=1+eγ−(x−μ)1f(x)=F′(x)=e−(x−μ)γγ(1+e−(x−μ)γ)2f(x) = F'(x)=\frac{e^{\frac{-(x-\mu)}{\gamma}}}{\gamma({1+e^{\frac{-(x-\mu)}{\ga原创 2021-02-16 21:03:39 · 291 阅读 · 1 评论 -
决策树分类模型-ID3 C4.5 CART
1.简介根据损失函数最小化原则建立决策树模型损失函数一般是正则化的极大似然函数本质上为从训练数据集中归纳出的一组分类规则每一个子结点对应一个特征取值,叶节点即一个类步骤特征选择、决策树生成、决策树修剪42.特征选择2.1 熵使用熵度量随机变量不确定性P(X=xi)=piP(X=x_i) = p_iP(X=xi)=pi则熵定义为H(X)=H(p)=−sum(pilogpi)H(X)=H(p)=-sum(p_ilogp_i)H(X)=H(p)=−sum(pilogpi)对于条件概原创 2021-02-13 05:55:23 · 1163 阅读 · 2 评论 -
贝叶斯分类
1.朴素贝叶斯法基于贝叶斯定理与特征条件独立假设的分类方法;1.1步骤:a.给定训练集,基于特征条件独立假设学习输入输出的联合概率分布;b.基于模型对给定x利用贝叶斯定理求出后验概率最大的输出y。1.2 先验概率分布及条件概率分布先验概率分布P(y=ck)k=1,2,3...KP(y=ck) k=1,2,3...KP(y=ck)k=1,2,3...K条件概率分布P(X=x∣Y=ck)=P(X1=x1...Xn=xn∣Y=ck)P(X=x|Y=ck)=P(X^1 = x^1...X^n =原创 2021-02-04 15:28:14 · 157 阅读 · 1 评论