重温深度学习

本文不讨论具体的技术细节和术语，也不属于教程，而是用自己的话来重新整理一下深度学习中比较重要的逻辑脉络，并总结一下深度学习给与个人的一些启发。

神经网络的基本结构我们都很清楚，输入层，隐藏层，输出层。基本的神经网络结构接收的输入是向量，所以如果是图像的话，我们需要将它reshape成vector,而卷积神经网络可以直接接收图像矩阵进行处理，这也是CNN的方便之处。对于基本的分类问题，在最早的感知机模型中，我们使用的是sign函数，所以输出结果只能是Yes和No两种，并不存在Maybe。而sigmoid函数把值的范围限定在了0和1之间，那么输出值就能是0到1的任意一个值，也就实现了Maybe，但是它的问题就在于当函数值较大的时候，会出现饱和现象，用数学的话来解释，函数值基本上不怎么变化，那么在接下来使用梯度下降法来调整参数的过程中就会很费力，因为发现参数值变化很不明显。这也就是梯度消失现象，也是神经网络不容易训练的原因。而随后的ReLU函数的出现，减缓了梯度消失现象，使得网络更容易训练。为什么要使用非线性函数？神经网络广义上是一个函数，数学上的映射函数。如果不使用非线性激活函数的话，那么网络输出的只能是线性加权计算的结果，无论神经网络有多少层，它始终都是线性函数，而非线性函数的使用增加了网络非线性表示的能力。神经网络的万能近似定理告诉我们，通过非线性表示，神经网络的表示空间的能力被大大扩展，简单来说，就是可以表示的范围更广了。

权重和偏置是神经网络中需要学习的参数，权重代表神经元之间连接的强弱，而偏置告诉我们当前的加权和是否合适，是否容易被网络激活，当加权值或大或小的时候，我们通过偏置来进行调节。当我们在讨论机器“学习”的时候，实质上指机器如何正确设置这些参数，为了达到这个目的，我们通过各种数学上优化的手段去解决这个问题。

矢量化编程是GPU大行其道的重要原因，GPU的硬件机制使得它对于这种矢量化运算的速度极快，它的硬件结构决定了当矢量化编程来加快程序运行速度时，英伟达必然占据市场的绝对制高点。

分层表示机制是深度学习的核心，通过简单的概念来组合成复杂的事物。而这种机制，不正是我们人类学习知识的方法吗，由简单到复杂，目标分解，将复杂事物分解为简单事物来进行学习。人类在面对复杂问题的时候所采用的解决办法是相通的，目标分解屡试不爽。

神经网络学习的过程，就是最小化损失函数，进而达到调节参数的目的。神经网络通过大量的训练数据来学习如何求解这个微积分问题，从数学上来讲，很多的未知数就需要很多的方程来约束，这样才能解这个方程。权重和偏置就是未知数，训练数据就是解开这些未知数的一个一个方程。而这种方程的求解方法，并不是像正规方程一样通过公式直接就能得到最终结果一样，而是通过函数逼近的方法来解决问题，而损失函数和梯度下降法就是帮助我们解决问题的工具。梯度下降法解决的问题是找到函数的最小值反向传播算法解决的问题是如何计算参数的梯度值。

优化问题和正则化问题是深度学习中的两大核心问题。最小化损失函数所牵涉到的问题都是函数优化问题，凸函数的性质，局部最优与全局最优问题，大致都属于这个范畴里面的内容。受制于我们的训练数据，网络模型的可能会出现过拟合现象，因为正则化手段就是为了解决过拟合，对它进行限制，从而拥有更好的模型泛化能力。人在学习的过程中，受制于个人知识的局限，会出现各种认知偏差行为，深度学习模型由于是基于数据训练出来的，这些数据就是它获得经验知识的来源，那么它就会对这些知识产生严重依赖行为，在面对新的情况下，不见得表现很好，因此，既要通过数据让它具备一定的知识水平，又不能让它过度依赖这些知识，而是具有举一反三的能力，这也就是深度学习模型中为什么要正则化的原因，避免对已有知识的过度依赖。

最后，简单总结一下个人的一些思考：
1、分层表示机制是深度学习的核心问题，分层让深度学习模型从简单到复杂去学习。正如人的学习过程，由简单的概念构建起最终的一个学科大厦。
2、对于一个复杂的问题，将它拆解为简单的问题去解决，当一个一个小问题解决了之后，这个复杂的问题也就解决了。目标拆解好像在做事中特别有用，科研也是如此。
计算机中的模块化思想，不也是目标拆解的一种体现吗。
3、人类本身的认知水平就如同深度学习模型的过拟合现象一样，我们学习某种知识，当我们感觉学的足够好的时刻，同时也是被我们被这些所具有的知识进行束缚的时刻，我们需要避免对已有知识的严重依赖。
4、现代计算机的计算能力足够强，我们不需要靠自己去解方程，因为计算机比我们做的要足够好。知道具体的数学知识是用来解决什么问题的，遇到问题的时候知道用哪种数学知识来解决眼下的问题远远比我们计算具体的方程如何求解更为重要，微积分，代数，统计学给我们提供了很棒的解决问题的工具与手段。