深度学习入门笔记

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/bloodfeast/article/details/77850010
之前研讨会各种听老板和师兄谈论deep learning的话题,自己也就听一听,这段时间出于了解论文的目的仔细研究了一下,感觉内部挺复杂的,不过若只是需要了解原理,其实还比较简单。

首先推荐一个博客地址,很多基本原理都是参照这里的:
http://blog.csdn.net/zouxy09/article/details/8775360/

深度学习与以往的机器学习方法不同之处在于,它并非是一个具体的方法或者系统,而仅仅只是一个理论体系,假设我们有一个系统S,它有n层(S1,…Sn),它的输入是I,输出是O,形象地表示为: I =>S1=>S2=>…..=>Sn => O,如果输出O等于输入I,即输入I经过这个系统变化之后没有任何的信息损失,设处理a信息得到b,再对b处理得到c,那么可以证明:a和c的互信息不会超过a和b的互信息。这表明信息处理不会增加信息(大部分处理会丢失信息。当然了,理想情况是丢掉的都是没用的信息)。保持了不变,这意味着输入I经过每一层Si都没有任何的信息损失,即在任何一层Si,它都是原有信息(即输入I)的另外一种表示。

而深度学习的思想,就是通过建立多个中间层,从输入层开始逐层抽象,每一层的输出都是下一层的输入。理想情况下,这样一个系统就如同人的认知过程一样,从看到的事物开始逐层抽象化,直到最后形成大脑中的知识。

另外需要注意的是,深度学习往往是以神经网络为实现方式的,但根据这几天的查阅,发现神经网络并非是唯一的方式,还有复杂多项式嵌套,以及词向量等方式,没有具体去了解,就不细究了。

展开阅读全文

没有更多推荐了,返回首页