![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
DeepLearning
wang_yonghua
电子科技大学 信息与通信工程学院 研究生
展开
-
深度学习的正则化
在机器学习中,许多策略被显示地设计减少测试误差(可能以增大训练误差为代价),这些策略被统称为正则化。1. 损失函数:Jw = MSE + 正则项正则化是指修改学习算法,使其降低泛化误差而非训练误差。常见正则项有L2,L12. 欠拟合(underfitting)和过拟合(overfitting)。欠拟合是指模型不能在训练集上获得足够低的误差。而过拟合是指训练误差和和测试误差之间...原创 2019-03-03 10:38:03 · 351 阅读 · 0 评论 -
梯度下降(BGD)、随机梯度下降(SGD)、Mini-batch Gradient Descent、带Mini-batch的SGD
https://blog.csdn.net/llx1990rl/article/details/44001921梯度下降(BGD)、随机梯度下降(SGD)、Mini-batch Gradient Descent、带Mini-batch的SGD一、回归函数及目标函数以均方误差作为目标函数(损失函数),目的是使其值最小化,用于优化上式。二、优化方式(Gradient Descent...转载 2019-03-12 22:14:01 · 351 阅读 · 0 评论 -
L2 norm,BatchNorm,损失函数和激活函数
对于机器学习 深度学习中的一些常见知识 L2 norm,BatchNorm,损失函数和激活函数 总结:L1 norm就是绝对值相加,又称曼哈顿距离;L1范数是L0范数的最优凸近似,而且它比L0范数要容易优化求解。所以大家才把目光和万千宠爱转于L1范数。L1范数和L0范数可以实现稀疏,L1因具有比L0更好的优化求解特性而被广泛应用。L2 norm就是欧几里德距离之和。(应用广泛)它也不...原创 2019-03-12 22:33:18 · 2190 阅读 · 0 评论 -
池化
(Pooling)average:对背景保留较好,max:对纹理提取较好。一般用max.具有平移不变形。可以理解为取最大 激活的地方,在平移之后仍然具有相同的激活。这里的激活为池化结果,是提取信息的过程。从反向传播多理解下。Jason只想做个好程序猿https://blog.csdn.net/danieljianfeng/article/details/42433475内...原创 2019-04-05 11:13:16 · 976 阅读 · 0 评论 -
激活函数
relu max(0,x) 在反传时 大于0 梯度为1 ,反传更新。小于0不能更新。以此类推,sigmoid的反传 受到局限, 只能在有限范围更新权值,还会出现梯度消失不能更新的情况。多用于分类。可以联系KL散度。交叉熵损失。激活函数python绘图:https://github.com/YonghuaWang1/Deep-Learning/blob/master/Activat...原创 2019-03-31 22:14:56 · 244 阅读 · 0 评论