机器学习
文章平均质量分 77
图南zzz
中国科学技术大学6系imcc实验室研1奋斗ing
展开
-
深度学习常用的优化器整理
能够累积个参数的历史梯度评分,频繁更新的梯度累计分母大,步长就小;AdaGrad能够自动为不同参数适应不同的学习率(平方根的分母项相当于对学习率α进行了自动调整),大多数的框架实现采用默认学习率α=0.01。优势:能够克服AdaGrad梯度急剧减小的问题,再很多应用中都展现出优秀的学习率自适应能力,尤其在不稳定(Non-Stationary)的目标函数下,比基本的SGD、Momentum、AdaGrad表现更良好。梯度更新的时候,与AdaGrad类似,只是更新的梯度平方的期望(指数移动均值)原创 2023-02-20 18:34:07 · 1088 阅读 · 1 评论 -
深度学习——ResNet超详细讲解,详解层数计算、各层维度计算
十六、残差神经网络(ResNet)16.1 缘由在ResNet之前的网络层数都不是很高,14年的VGG网络才只有19层,但是ResNet的网络层数达到了惊人的152层。许多人会有一个直观的印象,也就是网络层数越多,训练效果越好,但是这样的话VGG网络为什么不采取152层而是采用19层呢?其实是因为训练模型的准确度不一定和模型层数呈真相关的关系。因为随着网络层数的加深,网络准确需出现饱和,会出现下降的现象。上图中明显可以看出56层的网络比20层网络的训练效果要差,许多人第一反应就是过拟合,但事实并不如原创 2022-01-10 14:31:50 · 74303 阅读 · 6 评论 -
深度学习——卷积神经网络(CNN)
十五、卷积神经网络(CNN)15.1 神经元就是神经网络中最基本的单位,神经网络就是给每一个神经元加上一个非线性的激活函数,实现了变换输出因此每次对于信息的处理分为两步f(x) = wx + bw为权重,b为偏置(细致解答见MLP文章)a = g(f(x))a为最终输出g(z)为激活函数15.2 激活函数起非线性映射的作用,可以将神经元的输出幅度限制在一定范围内,一般限制在(-1,1)或(0,1)之间。最常用的激活函数是Sigmoid函数,可将原创 2022-01-07 20:14:26 · 1770 阅读 · 1 评论 -
机器学习——gist特征
gist特征gist特征是一个全局特征信息,借助Gabor滤波,在m个尺度,n个方向上进行卷积,得到mn个特征来描述图像14.1 图像中的傅里叶变换傅里叶变换可以看作是棱镜,能够将函数基于频率分解为不同的成分表征图像描述属性频率f类似于亮度幅值A类似于对比度,图像中最亮和最暗的峰值之间的差相位γ原始波形,表示三角函数的偏移量傅里叶变换编码就是一系列的正弦函数编码,频率从0到最高对图像中的所有频率进行编码一个只包含一个频率f1的信号在频谱上横坐标f为f原创 2022-01-07 00:20:29 · 5663 阅读 · 1 评论 -
深度学习—— 多层感知器 MLP
多层感知器 MLPMLP是一种前向结构的人工神经网络,映射一组输入向量到一组输出向量。MLP可以被看作是一个有向图,由多个节点层组成,每一层连接到下一层解决的问题:分类问题MLP是神经网络中最基础、最简单的其余神经网络还有误差反向传播神经网络(BP)卷积神经网络(CNN——用于图像识别)时间递归神经网络(LSTM——用于语音识别)12.1 神经网络的结构输入层隐层输出层不同层之间不是全连接的全连接:上一层的任何一个神经元与下一层的所有神经元都有连接12原创 2022-01-06 23:23:17 · 6496 阅读 · 3 评论 -
机器学习——LBP特征
十一、LBP特征原始:以中心为阈值,相邻8个像素的灰度值与其进行比较若周围像素值大于等于中心,标记为1若小于中心,标记为0周围八个点产生8位二进制数就为LBP值,(0,255)圆形化改进:为了能够适应更多范围,改为半径位r的圆由于这样会导致坐标可能不是整数所以通过双线性插值法得到该采样点的坐标LBP等价模式对于P个采样点的LBP算子会产生2的P次方种模式,为了解决二进制模式过多的问题,需要通过等价模式(0-2次转跳)进行降维00000000(0次跳变),0原创 2022-01-06 23:21:14 · 2406 阅读 · 2 评论 -
机器学习——朴素贝叶斯分类器
贝叶斯分类器优势:以贝叶斯定理为基础,简单易懂,学习效率高劣势:以各特征相互独立,连续变量的正态性假设为前提 ==》 算法精度会因此受到影响先验概率根据以往经验核分析得到的概率,如P(好瓜) = 60%后验概率事情已经发生,判断这件事由于某个原因引起的可能性大小,一定程度上类似于条件概率如:P(纹理清晰|好瓜)联合概率,由于贝叶斯分类器中默认各特征之间相互独立,因此p{X=i,Y=j}=pij那么p{X=i,Y=j}=p{Y=y|X=i}p{X=i}=p{X=i|y=j}p原创 2022-01-06 23:19:49 · 530 阅读 · 0 评论