【论一下1】深度学习论文:Deep learning-Yann LeCun-Nature 2015

看2015年nature 深度学习综述论文，过了一遍，这里只记录一些让我还有印象的点。

点

监督学习还是占大头

只不用了深度学习，少了之前用机器学习阶段大量的人工步骤。

深度学习学到的东西相较机器学习还是多的

你可以用机器学习模型凭借自己对狗的熟悉了解，人工设计出许多特征，但是在像素水平上，两个萨摩耶人在不同姿势和不同环境下的图像可能会有很大的不同，而两个萨摩耶人和狼在相同的位置和相似的背景下的图像可能会非常相似。所以用深度学习有了多个非线性层，比如5到20层的深度，系统可以实现极其复杂的输入功能，同时对微小的细节敏感——区分萨摩耶人和白狼——对大的无关变化不敏感，比如背景、姿势、光线和周围的物体

随机梯度下降 随机是指 每一批小样本都对最后的模型有一定的噪音，所以是随机。

训练的时候，就像下山，权重就向梯度的反方向去调。

上面说到了那个还是人工可以定义的问题，那到一些语音，图像（像素）问题，特征都没法设置，靠神经网络了呀。

深度学习起来，主要还是GPU算力起来了。

CNN CNN是在机器学习时代也没有被嫌弃的神经网络，他在图像方面表现得好，主要是几个特征，卷积 池化 权值共享

叫卷积是因为用滤波器过一遍的那个过程在数学里面就叫做卷积

池化则可以保证了局部一致性

语义识别领域，相较于传统的，这里可以用上下文 ，还有词向量，神经网络巨强，必大放异彩。

别人的

写完自己简略版的，放一个别人详细版的https://blog.csdn.net/godot06/article/details/110088577