【深度学习】之一：神经网络

神经网络的本质就是，一层一层的提取特征，一般层数越多，提取的特征就越抽象，就越更接近原始数据的本质。最后对这些特征进行预测输出。
一个神经网络的训练算法就是让权重（通常用w表示）的值调整到最佳，以使得整个网络的预测效果最好。
事实上，在神经网络的每个层次中，除了输出层以外，都会含有这样一个偏置单元。这些节点是默认存在的。它本质上是一个只含有存储功能，且存储值永远为1的单元。
神经网络中，除了输入层、输出层，其他的都为隐层。
对于隐层较少（2个隐层以下）的神经网络叫做浅层神经网络，也叫做传统神经网络。增加隐层的话，就成为深层神经网络（DNN)。
1989年Rober Hecht-Nielsen证明了对于任何闭区间内的一个连续函数都可以用一个隐含层（神经元个数足够多）的神经网络来逼近，这就是万能逼近定理。输入层和输出层的节点个数都是确定的，而隐含层节点个数不确定。
1.单隐层神经网络可以逼近任何连续函数：连续函数你可以看成是一条不断的线，可以是一条任何弯曲的线，线的两测是被区分的两个类别。之所以说可以是任一的线，是因为再怎么扭曲的线都是可以用无限小的直线连接而成，既然是直线，那就可以使用线性分类器，所以，一条曲线就可以用许多线性分类器组成，当同时满足线性分类器都为1时，那么整个曲线的神经网络就被满足为1了。一个神经元就是一个线性分类器，分类器越多，就越拟合曲线。
2.多隐层比单隐层效果好，更好的效率。
3.对于分类，3层神经网（1个隐层）比2层神经网（无隐层）的效果好，因为前者可以区分非线性。但是，层数再往上增多，则效果的上升就不那么明显了。
4.图像处理之所以需要深层次的神经网，是因为将图像转换成结构化的数据需要有非常多的维度，也就是说需要非常多的特征才能来描述图片。

BP算法
BP算法用在传统神经网络上，是一种求解权重w的算法，通常分为两部：
(1)FP:信号正向传递(FP)求损失（输出层误差）
(2)BP:损失反向回传（BP）误差
算法推导过程：
(1)正向传递求损失(正向误差），这个过程较为简单，即对于输入x、偏置1与权重w和b进行各个层次的加权、并通过激活函数的计算，求出输出值。


(2)反向损失回传（输出层误差回）
当误差求出来之后，采用随机梯度下降的方法(SGD),每看一个数据就算一下损失函数，然后求梯度更新参数，这个称为随机梯度下降。即对于误差E求他的梯度，即误差下降最快的方向，然后根据这个值修正权值，即当权值为这个修正值时，求的误差会比当前的误差小的最大。

想要修正权值，这个△w1需要通过随机梯度下降法求得，即对误差求梯度，让这个误差下降最大方向的值作为修正误差。

RBF(径向基）算法
RBF算法应用在传统神经网络上，是使用BP算法神经网络的一个特例。再讲RBF算法神经网络之前，先引入一些数学概念。
1.数学思维方法：几何方法。在读大学之前，我们学习过一次函数、二次函数、三角函数、指数函数、对数函数等，方程则是求函数的零点；到了大学，我们学微积分、复变函数、实变函数、泛函数等。函数是数学一条重要线索，另一条线索是几何，几何是函数形象表达，函数是几何抽象描述，几何研究“形”，函数研究“数”，它们交织在一起推动数学向更深更抽象的方向发展。
函数图像联系了函数和几何，表达两个数之间的变化关系，映射推广了函数的概念，使得自变量不再仅仅局限于一个数，也不再局限于一维，任何事物都可以拿来做映射，维数可以是任意维，传统的函数图像已无法直观地表达高维对象之间的映射关系，这就要求我们在观念中，把三维的几何空间推广到抽象的n维空间。
映射表达的就是一个集合通过某种关系转为另外一个集合。由于映射的对象可以是任何事物，为了便于研究映射的性质以及数学表达，我们首先需要对映