深度学习入门

摘要：

深度学习的一些基本概念，在学习过程中，查看了很多的博客，知乎，论文之后，把个人觉得比较有意思的基础概念综合在一起，供大家一起学习交流。

一、深度学习基本概念：https://baike.baidu.com/item/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/3729729?fr=aladdin（百度学术）

https://www.cnblogs.com/wangzhongqiu/p/9856628.html（机器学习等概念）

https://blog.csdn.net/qq_39297053/article/details/109234498（历史发展过程）

https://zhuanlan.zhihu.com/p/74568310（生物知识——>神经网络模型）

1、深度学习（DL）：

      1）  深度学习（DL:deep learning）是机器学习(ML:machine learning)的一个研究方向，旨在使机器学习更加接近于人工智能（AI：artificial intelligence）的目标。

      2） 深度学习是复杂的机器学习算法。

      3）深度学习是一类模式分析方法的统称。

      4）其核心就是自动将简单的特征组合成更加复杂的特征，并用这些特征解决问题

      5）具有多个隐藏层的神经网络被称为深度神经网络，基于深度神经网络的学习研究称之为深度学习。

2、人工智能（AI）：

        人类通过直觉可以解决的问题，如：自然语言理解，图像识别，语音识别等，计算机很难解决，而人工智能就是要解决这类问题。

3、机器学习：

        机器学习是一种能够赋予机器学习的能力以此让它完成直接编程无法完成的功能的方法。但从实践的意义上来说，机器学习是一种通过利用数据，训练出模型，然后使用模型预测的一种方法。

        机器学习的算法有很多。包括了监督学习算法：线性回归，逻辑回归，神经网络，SVM以及非监督学习算法：聚类算法，降维算法

        

4、神经网络：

        最初是一个生物学的概念，一般是指大脑神经元，触点，细胞等组成的网络，用于产生意识，帮助生物思考和行动，后来人工智能受神经网络的启发，发展出了人工神经网络。

      在一个网络中，一般包括输入层，隐藏层，和输出层。输入层负责接收信号，隐藏层负责对数据的分解与处理，最后的结果被整合到输出层。每层中的一个圆代表一个处理单元，可以认为是模拟了一个神经元，若干个处理单元组成了一个层，若干个层再组成了一个网络，也就是"神经网络"。 

5、 深度学习、机器学习、神经网络、人工智能关系图：

6、深度学习VS传统机器学习：

        深度学习的发展可谓是一波三折。

        第一春：

        神经网络的雏形还要从生物领域说起。虽然说高中生物学得还行吧，但是时隔多年，也忘得差不多了，为了照顾和我一样的小白，还是再补充一下生物神经元的知识。

        神经元由细胞体和突起两大部分组成。其中细胞体包括细胞核、内质网、线粒体等，是神经元的控制中心，对树突传进来的信号进行综合处理。突起包括树突和轴突。树突负责接受来自其它神经元的信号，相当于神经元的输入端，一个神经元通常有多个树突。轴突比树突长而细，也叫神经纤维，末端处有很多细的分支称为神经末梢，每一条神经末梢可以向四面八方传出信号。神经末梢和和另一个神经元进行通信的结构叫突触，是神经元的输出端。突触使神经元的膜电位发生变化，且电位变化可以累加。神经元接收多个神经元的轴突末梢传来的信号，并根据不同的权重进行累加。当累加值使膜电位达到一定阈值时，神经元就被触发。可以看出，神经元是一个信息处理单元，具有多输入单输出的结构。

根据生物神经元的结构、工作原理和麦克洛克（McCulloch）和皮茨（Pitts）的五个假设，提出了类神经元的运算模型（M-P模型）：

        其中I为输入，相当突触。W为权重，跟细胞体有关，T为阈值函数。I经过W加权累加后送到T，如果累加和大于T的阈值，则神经元被激活，否则不激活。 

         但是这个模型有一个不足之处：W权重该如何确定，是强还是弱，什么时候强，什么时候弱，由什么因素决定并不知道。

        针对这个问题，1957年，结合M-P模型和Hebb学习规则，罗森布拉特发明了感知机。

        感知器也就是大家熟知的神经网络最初阶段的模型。最大的贡献是解决了M-P模型中参数W的学习问题。和M-P模型相比，感知机引入了偏置b。

        几何的角度来看，感知机就是n维空间的一个超平面，它把特征空间分成两部分。

 第一冬：
        感知器是线性模型，只能实现线性问题的划分，参数众多，没有好的算法。1969年两位数学家M.Minsky和S.Papert提出感知机是一个线性模型，只能解决简单的线性非类问题甚至连简单的“异或”问题都不能处理。更致命的是，他们指出Multi-Layer Perception无法优化的问题，即通过增加神经网格层数，并且加入非线性激活函数虽然可以解决非线性问题，但是由于参数众多，没用好的算法来调节参数使得神经网络的研究陷入第一次低谷。
        其实60年代存在一个算法的研究可以解决此问题，即多层感知机的反向传播。通过加入非线性的激活函数可以解决模型无法处理非线性的问题，并且通过设定以减少预测的结果与真实结果间差异为目的的参数，进行神经网络层间参数的反向更新，可以解决参数更新的问题。并且有着很多实际应用，例如1970年Sepo Linnainma将反向传播算法成功在电脑上运行；1983年JJ.Hopfield利用神经网络求解“流动售货员”问题等，使得神经网络研究重新得到关注。但是介于第一次寒冬的猛烈，众多研究迟迟未能发表出来。

第二春：

        各种算法的提出和理论的支撑。David E.Rumelhart ,Geoffrey E.Hinton和Ronald J.Williams在Nature杂志上发表文章‘Learning representations by back-propagating errors’一文（即著名的反向传播算法），使神经网络早期的问题得到解决，成为神经网络的基本模型，在该领域产生深远影响。

1989年发表的论文‘Multilayer Feedforward Networks are Universal Approximators’在理论上证明了多层神经网络可以逼近任何数据分布的，只要优化过程合理，就能获得合适的结果，使神经网络研究的过程得到一定的解释。

第二冬：

           SVM等浅层模型的提出。早期数据集比较小，人们都侧重于解决如何在小数据情形下的算法过拟合问题，典型的就是SVM。而复杂的神经网络在数据量不足的情况下会过拟合的非常严重。     

        随着神经网络层的增加，大量参数将呈几何倍数的增加，而参数的设定缺乏理论指导，毫不夸张的说参数上失之毫厘，则结果会差之千里。另一方面，激活函数的研究也不完备，很容易导至梯度离散和梯度爆炸现象。最后，运算起来对于当时的Cpu来说有着很大挑战，所以神经网络的研究者大多是理论工作，在计算机上实现比较困难。

第三春：

        Alexnet网络的提出（正在跟着师兄学习这个网络，将会在后面持续更新）。

        2012年，Alex Krizhevsky等人发表的论文中通过五层神经网络模型来训练6000,0000张图片，其top-5的错误率仅有15.3%，而SVM算法则高达26.2%； 2006年的论文‘A fast learning algorithm for deep belief nets’中提出了有效的初始化方法layer by layer protraining，大大优化了神经网络算法。
        深度学习的崛起还得益于以下五点原因：
1，显卡公司NVIDIA提出CUDA方案可以把gpu可以像cpu一样运行，而gpu有高度并行的特点，非常适合神经网络这种大参数的复杂运算。2009年发表的论文 Large-scale Deep Unsupervised Learning using Graphics Processors中使用gpu对无监督学习进行加速，比cpu运算快72倍，让深度学习这一复杂的算法从理论变成实践。
2.大数据的兴起，让深度学习拥有大量的样本可供训练，学习和测试。
3.RelU,sigmoid等激活函数的应用让阈值的设定变的合理，让通过阈值的输入结果变得方便研究和比较，变得更有意义。
4.BatchNorm是深度学习中常用的加速神经网络训练，加速收敛速度即稳定性的算法。
5.Xavier initialization和Kaiming initialization等初始化方法的提出，一个好的初始化方法让神经网络更容易收敛，输入结果更理想。
6.Dropout是神经网络不在依靠全连接层还是否能正常运行的尝试，增加算法容错性。形象的比喻成人来说，就是人体的某些组合出现问题，但是人还可以照常生活一样。

sum:

        人工智能的发展经历了如下若干阶段，从早期的逻辑推理，到中期的专家系统，这些科研进步确实使我们离机器的智能有点接近了，但还有一大段距离。直到机器学习诞生以后，人工智能界感觉终于找对了方向。基于机器学习的图像识别和语音识别在某些垂直领域达到了跟人相媲美的程度。机器学习使人类第一次如此接近人工智能的梦想。

　　人工智能的发展可能不仅取决于机器学习，更取决于前面所介绍的深度学习，深度学习技术由于深度模拟了人类大脑的构成，在视觉识别与语音识别上显著性的突破了原有机器学习技术的界限，因此极有可能是真正实现人工智能梦想的关键技术。无论是谷歌大脑还是百度大脑，都是通过海量层次的深度学习网络所构成的。也许借助于深度学习技术，在不远的将来，一个具有人类智能的计算机真的有可能实现。