论文笔记之《Deep learning》

前言

本人本科期间主要从事嵌入式控制系统设计相关项目，但后来逐渐发现自己的爱好是计算机视觉，所以，临近毕业时决定入坑计算机视觉。作为一名CV小白，希望通过以写博客的方式来记录自己的学习历程，以此来巩固所学。

1. 绪论

Deep learning allows computational models that are composed of multiple processing layers to learn representations of data with multiple levels of abstraction. These methods have dramatically improved the state-of-the-art in speech recognition, visual object recognition, object detection and many other domains such as drug discovery and genomics. Deep learning discovers intricate structure in large data sets by using the backpropagation algorithm to indicate how a machine should change its internal parameters that are used to compute the representation in each layer from the representation in the previous layer. Deep convolutional nets have brought about breakthroughs in processing images, video, speech and audio, whereas recurrent nets have shone light on sequential data such as text and speech.

机器学习技术在现代社会的各个方面表现出了强大的功能：从网页搜索到社垃圾信息过滤，再到电子商务网站上的商品推荐都有涉足。并且它越来越多地出现在消费品中，比如相机和智能手机。
机器学习的过程可以看做是寻找一个函数的过程，这个函数对于输入可以输出人们想要得到的结果，而我们要做的是如何构建这个函数。
机器学习系统被用来识别图片中的目标，将语音转换成文本，匹配新闻元素，根据用户兴趣提供相应的职位或产品，选择相关的搜索结果。逐渐地，这些应用使用一种叫深度学习的技术。这里主要阐述深度学习技术，而其他传统算法仍具有学习价值，可以查阅相关书籍。

传统机器学习方法:通过人为建立学习系统，提取出输入数据的特征，再筛选有用信息输入分类器;
深度学习方法:是一套给机器灌入原始数据，然后能自动发现需要进行检测和分类的表达的方法

2. 监督学习

2.1 什么是监督学习

最常见的机器学习就是监督学习。它已知输入的类别，通过判断输出是否满足自己预期，若不满足，则相应改变系统内部参数直到输出符合预期。在一个典型的深度学习系统中，会有数百万个可调节参数，并且具有数百万个的标记的样本被用于训练这个机器学习系统。

这个学习系统展开如下图：

每个节点都有个系数，称为权重，调节这些权重就可以改变系统输出，那么以什么规则来调节权重？

2.2 如何进行监督学习

大致思想是通过计算误差来引入负反馈，并沿着梯度方向来更新权重。
更新权重主要运用两种算法：

1. 随机梯度算法（SGD）
2. 反向传播算法（BP）
   
   梯度方向如下图，指变化最快的方向。
   
   采用梯度下降有可能出现如下图的局部最优现象，但经过试验证明，这种现象很少发生。
   
   Note:每个神经元的输出都要经过一个非线性映射，因为实际生活中的大多数问题都是非线性问题,通常采用如下函数，还可以减小噪声干扰。
   

3. 经典网络

3.1 卷积神经网络（CNN）

3.2 循环神经网络（RNN）

两个网络的结合：

上述具体算法及网络结构还要在未来继续学习。

4. 未来展望

无监督学习，强化学习等是未来发展的重点。