通俗解释深度学习算法

1.CNN

当输入数据是图片时，输入的实际是一堆数字（像素点）。
卷积是指神经网络不再对每个像素的输入信息做处理，而是对每一小块像素区域做处理，这种做法加强了图片信息的连续性，使得神经网络能看到图形，而不是一个点，加深了神经网络对图片的理解。
卷积神经网络有一个批量过滤器（卷积核），持续不断地在图片上滚动收集数图片信息，每一次收集的信息只是一小块像素区域，然后将收集的信息进行整理，整理出来的信息有了一些实际上的呈现，如使得神经网络看到一些边缘的图片信息。然后以同样的步骤，以类似的批量过滤器扫过产生的这些边缘信息，神经网络用这些边缘信息总结出更高层的信息结构，比如总结的边缘信息能够画出眼睛、鼻子等。再经过一次过滤，脸部的信息也从这些眼睛、鼻子的信息中被总结出来，最后再把这些信息套入几层普通的全连接神经网络进行分类，这样就能得到输入的图片能被分为哪一类的结果。

图片是如何被卷积的：
图片有长宽高三个参数，高指计算机产生颜色使用的信息，若是黑白照片，高的单位为1.如果是彩色图片，有红绿蓝（RGB）三种颜色的信息，这时的高度为3.
过滤器就是不断移动的东西，不断在图片收集小批小批的像素块，收集所有信息后输出的值可以理解为一个高度更高，长和宽更小的图片，这个图片中包含了一些边缘信息。
然后以同样的步骤再进行多次卷积，将图片中的长宽再次压缩，高度再次增加，就有了对输入图片更深的理解。将压缩增高的信息嵌入普通的分类神经层上，我们就能对这种图片进行分类。
研究发现在每一次卷积的时候，卷积层会无意地丢失一些信息。
此时池化pooling可以很好的解决这样的问题，就是在卷积的时候尽量不压缩长宽，尽量保留更多的信息，压缩的工作交给池化，这样的附加工作可以有效提高准确性。

2.RNN和LSTM

2.1 RNN

Recurrent Neural Networks循环神经网络
普通的神经网络无法了解数据之间的关联
把每个数据的分析结果存入记忆，各记忆之间本没有关联，将之前的记忆调用过来一起用神经网络分析。
每次RNN运行完，都会产生一个对于当前状态（t时刻）的描述state，用S(t)来表示。

2.2 LSTM

Long Short-Term Memory长短期记忆，是当前最流行的RNN网络
RNN是在有序的数据上进行学习，为了记住这些数据，RNN会产生对先前发生事件的记忆。
一般的RNN记忆能力不好。
RNN判断失误时，便会学习输入的长序列和关键数据的关系。和若RNN所需要的关键数据出现在句子开头，普通RNN的弊端便显示出来：
最开始的数据需要很久才能抵达最后的时间点，可以得到误差，在反向传递得到误差的时候，每一步都会乘以自己的参数w，如果w是一个小于1的数，w不断乘以误差，误差传到初始时间的时候，会是一个接近于0的数，所以对于初始时刻误差相当于消失了，这种现象叫做梯度消失或梯度弥散。
若w是一个大于1的数，w不断乘以误差，误差传到初始时间的时候，会变成一个无穷大的数，这种现象叫做梯度爆炸。这就是普通RNN无法回忆起久远记忆的原因。
LSTM就是为了解决这个问题而产生的，LSTM比普通RNN多出了3个控制器，输入、忘记、输出控制器。多了一个控制全局的记忆，想象为电影中的主线剧情，原本的RNN体系为分线剧情。3个控制器都在原始的RNN体系上。
输入控制器：如果此时的分线剧情对最终的结果十分重要，此时输入控制器就会将此分线剧情，按重要程度写入主线剧情，再进行分析。
忘记控制器：如果此时的分线剧情改变了对主线剧情的想法，此时忘记控制器就会将某些主线剧情忘记，按比例替换成现在的新剧情，主线剧情的更新取决于输入和忘记控制器。
输出控制器：输出控制器会根据目前的主线剧情和分线剧情判断要输出的是什么。
基于这些控制机制，LSTM来实现延缓记忆衰退。

3.GAN

Generative Adversarial Nets生成对抗网络
神经网络都是输入数据，得到想要的结果。而GAN是根据一些随机数来捏造有意义的结果。
随机给定判断，并进行纠正学习。
Generator根据随机数来生成有意义的数据，Discriminator会学会判断哪些是真实数据，哪些是生成数据，然后将学习到经验反向传递给Generator，让Generator根据随机数生成更像真实数据的数据。
这样训练出来的Generator便可以加以运用，比如生成各种卧室的图片、将图片做加减法、根据绘制的草图生成图片。