深度学习入门笔记

之前研讨会各种听老板和师兄谈论deep learning的话题，自己也就听一听，这段时间出于了解论文的目的仔细研究了一下，感觉内部挺复杂的，不过若只是需要了解原理，其实还比较简单。

首先推荐一个博客地址，很多基本原理都是参照这里的：

http://blog.csdn.net/zouxy09/article/details/8775360/

深度学习与以往的机器学习方法不同之处在于，它并非是一个具体的方法或者系统，而仅仅只是一个理论体系，假设我们有一个系统S，它有n层（S1,…Sn），它的输入是I，输出是O，形象地表示为： I =>S1=>S2=>…..=>Sn => O，如果输出O等于输入I，即输入I经过这个系统变化之后没有任何的信息损失，设处理a信息得到b，再对b处理得到c，那么可以证明：a和c的互信息不会超过a和b的互信息。这表明信息处理不会增加信息（大部分处理会丢失信息。当然了，理想情况是丢掉的都是没用的信息）。保持了不变，这意味着输入I经过每一层Si都没有任何的信息损失，即在任何一层Si，它都是原有信息（即输入I）的另外一种表示。

而深度学习的思想，就是通过建立多个中间层，从输入层开始逐层抽象，每一层的输出都是下一层的输入。理想情况下，这样一个系统就如同人的认知过程一样，从看到的事物开始逐层抽象化，直到最后形成大脑中的知识。

另外需要注意的是，深度学习往往是以神经网络为实现方式的，但根据这几天的查阅，发现神经网络并非是唯一的方式，还有复杂多项式嵌套，以及词向量等方式，没有具体去了解，就不细究了。