![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
BBBBBAAAAAi
这个作者很懒,什么都没留下…
展开
-
批量归一化
批量规范化(batch normalization)[Ioffe & Szegedy, 2015],这是一种流行且有效的技术,可持续加速深层网络的收敛速度。再结合残差块,批量规范化使得研究人员能够训练100层以上的网络。...原创 2022-02-25 09:11:45 · 1313 阅读 · 0 评论 -
卷积神经网路
1.两个原则平移不变性,假设要找的目标位于左上未虚化的框里,如果目标在其他地方出现,那么所具有的特征应是一样。也就是说同样的分类器可以应用在别的地方找相同的目标。分类器不会因图片像素位置的变化而变化。 局部性,找目标时,不需要看太多的内容,只需看附近的内容即可,只需要局部信息即可。...原创 2022-02-16 17:28:51 · 1058 阅读 · 0 评论 -
数值稳定性
目录1.数值稳定性常见的两个问题2.让训练更加稳定1.数值稳定性常见的两个问题梯度爆炸与梯度消失梯度爆炸问题梯度消失梯度消失问题总结2.让训练更加稳定2.1 如何使用合理的权重初始化和激活函数想法一:将每层的输出和梯度都看成随机变量,让他们的均值和方法保持一致。如下图例子,接下来探索什么样的条件可以满足上诉要求。例如下面MLP例子,下面来看反向所以满足以下两个条件,但是两个条件很难同时满足。...原创 2022-02-09 21:27:31 · 1862 阅读 · 0 评论 -
避免过拟合之丢弃法
丢弃法,drop out原创 2022-02-08 17:09:26 · 1111 阅读 · 0 评论 -
权重衰退法
权重衰退原创 2022-02-08 14:36:48 · 290 阅读 · 0 评论 -
模型选择+过拟合+欠拟合
模型复杂度和数据复杂度2.小批量梯度下降3.总结原创 2022-02-07 15:47:49 · 248 阅读 · 0 评论 -
基础优化算法
1.梯度下降算法2.小批量梯度下降3.总结原创 2022-02-07 14:41:23 · 324 阅读 · 0 评论 -
矩阵计算公式
1.标量导数标量对标量求导2.梯度将导数拓展到向量即为梯度。3.标量对向量求导4.向量对向量求导5.各种情形求导后的结果形状原创 2022-01-27 10:56:04 · 1386 阅读 · 0 评论 -
【无标题】周志华机器学习线性模型
周志华机器学习线性模型原创 2022-01-25 10:20:38 · 881 阅读 · 0 评论