神经网络
文章平均质量分 89
A.Star
AStar开源社区创建者
展开
-
【原创】深度学习学习笔记(三)-神经网络训练过程(2)
文章目录5.参数更新5.1 简表5.2 学习率5.3 小批量5.4 寻优方法5.4.1 SGD系列5.4.2 Momentum(动量)5.4.3 NAG (Nesterov Acceleration Gradient)5.参数更新5.1 简表概念寻找能使损失函数最小的参数矩阵w的过程主体思路迭代优化常见方法梯度下降,SGD,Momentum, NAG,AdaGrad,RMsprop,Adam…5.2 学习率目的: 加快收敛速度常用方法1)先用一个大的值原创 2022-05-22 02:07:39 · 693 阅读 · 0 评论 -
【原创】深度学习学习笔记(二)-神经网络训练过程(1)
文章目录1. 权重初始化2. 偏置初始化3. 损失函数loss4.反向传播1. 权重初始化不初始化时,为0学不到东西应使各层的激活值既不饱和也不为0,正确的初始化可以加快收敛,降低梯度消失、爆炸的风险常见的初始化方法,小随机数初始化、服从一个多变量高斯分布或多变量均匀分布初始化不合适,训练变慢难收敛诊断方法观察所有层的激活值和梯度分布的柱状图例:双曲正切激活函数在区间[-1,1]内都有分布,全为0或者全饱和都是有问题的检查每一层的激活值和梯度方差2. 偏置初始化b:0(re原创 2022-05-19 16:17:28 · 623 阅读 · 0 评论 -
【原创】深度学习学习笔记(一)-神经网络基本组成单元
神经网络基本组成单元感知器感知器主要分为三个部分:参数、求和单元、激活函数参数:权重(w)+偏置(b)函数:y=sgn(wx+b) y=sgn(wx+b)y=sgn(wx+b)求和函数: y=∑i=1n(wixi+b) y = \sum_{i=1}^n(w_ix_i+b) y=i=1∑n(wixi+b)激活函数:人工神经网络的神经元上运行的函数,负责将神经元的输入映射到输出端。常用的激活函数sigmoid函数函数δ(x)=11+e−x \delta(x)原创 2022-05-13 19:57:20 · 501 阅读 · 2 评论 -
【原】浅谈自组织映射算法(SOM)
浅谈自组织映射算法(SOM)0. 写在最最前自组织映射算法(SOM)或许对大家来说比较陌生,实际上,她早在1981年就被提出 [1] ^{[1]} ,是人工神经网络(ANN)大家族的一员,与自适应共振理论(ART)、认知机网络(很遗憾,这个词仅在百度百科中出现,没有搜索到其他相关资料,疑为神经认知机误写)成兄弟关系。 在笔者研究SOM之前,曾经用ART2实现过聚类(参考github/ART2py原创 2017-12-09 14:17:05 · 8188 阅读 · 0 评论