深度学习概述<二>追本溯源：深度学习基础

<二> 追本溯源：深度学习基础

本章节，我们旨在让读者快速了解深度学习相关概念，并不对其做具体展开。

1、线性回归

线性回归加上非线性激励得到一个神经元。多个神经元构造出一个神经网络。

2、CNN

从神经网络—> 卷积神经网络

卷积核—> filter ，滤镜 

每个卷积核(二维矩阵)可以生成一张新的图片

多个卷积核，可以形成一个神经网络，我们把它叫做卷积神经网络。

CNN的局限：

没有记忆，只对单张图片有效

视频处理时，只是简单的多帧叠加，无法学习前后关系。

3、RNN

神经网络—>递归神经网络RNN

递归神经网络是传统神经网络在时域的扩展。

RNN 的关键点之一就是他们可以用来连接先前的信息到当前的任务上，例如使用过去的视频段来推测对当前段的理解。

对于RNN来说，每一次是输出作为下一时刻的输入，这种方式在某种场景下可能会导致 s0 对 sn的影响很小。不能满足某种应用场景，如自然语言处理。

因此引入了LSTM

 LSTM 是一种特别的 RNN，可以学习长期依赖信息。比标准的 RNN 在很多的任务上都表现得更好。几乎所有的令人振奋的关于 RNN 的结果都是通过 LSTM 达到的。

LSTM更为详细的理解请参考译文《理解 LSTM 网络》