- 博客(5)
- 收藏
- 关注
RSS订阅原创 深度学习基础知识（〇）--- 目录
本系列涉及深度学习中的一些较为常见的、基础的知识点：点击标题即可跳转到相应的博文页面1. 权重初始化2. 卷积网络 与 池化操作3. Normalization 操作4. 激活函数5. dropout 操作6. 损失函数7. 优化方法个人水平有限，难免挂一漏万，欢迎赐教指正。...
2020-01-30 23:22:30
735
2
原创 深度学习基础知识（七）--- 各种优化方法
深度学习常用的优化方法参考资料：《Deep Learning》、pytorch 文档深度学习中，优化算法的 目标函数 通常是一个基于训练集的损失函数，优化的目标在于降低训练误差。这意味着用训练集上的 经验分布 代替 真实分布。最小化这种平均训练误差的训练过程，被称为经验风险最小化（empirical risk minimization）1.Stochastic ...
2020-01-30 21:30:06
1686
原创 深度学习基础知识（六）--- 损失函数
1.L1损失（绝对损失函数） 和 L2 损失（平方损失函数）L1范数损失函数，也被称为 最小绝对值偏差（LAD），最小绝对值误差（LAE）。总的说来，它是把目标值（Yi）与估计值（f(xi)）的绝对差值的总和（S）最小化：L2范数损失函数，也被称为最小平方误差（LSE）。总的来说，它是把目标值（Yi）与估计值（f(xi)）的差值的平方和（S）最小化：2. M...
2020-01-30 21:05:27
2255
原创 深度学习基础知识（五）--- dropout
dropout 可以看作是一种实用的bagging的方法，即模型平均思想的一种运用。因为模型平均要对训练集有放回的采样，得到多个不同的训练集，再训练多个不同的模型，在测试阶段由多个不同的模型 表决 或者 平均 来做出最终预测。但是对于深度神经网络而言，训练多个不同的模型 可能不切实际，会耗费大量时间和计算力，dropout 对神经元随机失活，也就是说前传的过程中...
2020-01-19 23:00:49
734
原创 深度学习基础知识（四）--- 激活函数
激活函数也就是一些非线性单元，如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。参考文章：https://zhuanlan.zhihu.com/p/251104501.sigmoidsi...
2020-01-18 13:52:14
809
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人