3-神经网络简介

一，神经网络基本概念

不管是哪种传统机器学习方法，它要求样本特征值都是已知的。但是在某些问题中样本的特征值很难获得，比如在智能交通中要去判断采集的一张图片是否为车辆，传统的学习方法你要去设计这个车的特征，比如圆形车轮，方形车牌等等。但是这种方法存在很大的局限性，比如遭到碰撞的车对于传统机器学习方法来说很难解决，那么有没有一种方法能够学习特征，让方法自己去学习这个特征，这就是人工神经网络需要达到的目的。

定义：由具有适应性的简单单元组成的广泛并行互连网络，它的组织能够模拟生物系统对真实世界所做出的交互反应。（它像我们身体一样有多个人工神经元组成，能够感知外部信息，并进行处理往下继续传递，然后做出反应。它希望模拟我们人脑的视觉机理和生物神经网络）

基本原理介绍：人脑视觉机理：从原始信号摄入(瞳孔摄入像素Pixels)→初步处理(大脑皮层某些细胞发现边缘和方向)→抽象(大脑判定，眼前的物体的形状，是圆形的)→进一步抽象(大脑进一步判定该物体是人脸); 这就是从原始信号，做低级抽象，逐渐向高级抽象迭代。                                                                  将上述的人脑视觉机理应用到人工神经网络中。神经网络最初在图上识别上取得了很好的效果，我们知道，一张图片被细分为多个像素点，每个像素点的值从0到255（表示颜色），在计算机中一张图片就被表示成三维数组形式，这些三维数组的像素值就可以作为人工神经网络的输入信息

如下所示，神经网络包括多层，每一层逐级抽象它的语义概念（下图从左往右不断抽象，每一层上方对应着抽象出来的图片，最终经过分类器识别出车辆），达到最后进行识别的目的

也就是说人工神经网络完成了由测量空间到特征空间再到类别空间的转换。测量空间到特征空间主要是完成特征的提取，在传统的机器学习方法中特征需要人去设计，而在人工神经网络基础上的深度学习方法，特征可以通过学习来学得，有了特征以后就可以进行特征匹配，来实现类别空间物体的识别

人工神经网络框架：人工神经网络的目的实际上是寻找一个合适的函数，比如说对于数字图片识别问题，拍摄一张数字图片，将图片的像素值输入到函数f(图片像素值)当中就能得到结果。函数f()就是我们要找的函数。 那么根据实际问题怎样去找到一个合适的函数，这个函数需要人来构造，然后交给机器一组函数集合f,g,h等，机器会从你给的函数中找到一个最优的。

过程简化如下，人来确定函数集合，然后给定评价标准（比如之前介绍的一元线性回归理论，人给定函数，再利用损失函数J作为评价标准，最后交给机器处理），机器将样本训练集的每个样本输入到函数集合的每个函数当中去看看输出结果和给定的标签值（给定的结果）是否一致，它总体的输出结果会根据评价好坏的函数来选定一个最佳函数，实际上就是一个对答案的过程。对于给定样本是有标签的，所以这个过程属于有监督学习的一类方法。最后选择非数据集的数据作为测试数据对选择出的函数进行验证。

二，单层感知器

每个神经网络都由多个层构成，每层又有多个神经元，而其中的每个神经元又相当于一个单层感知器。单层感知器是感知器中最简单的一种，只能用来解决线性可分的二分类问题。（单层感知器的输出值只输出-1或1，如果函数计算值大于0则输出1，小于0则输出-1）

单层感知器是最简单的神经网络，它包含输入层和输出层，输入层和输出层是直接相连的。如下图所示，输入节点为x1,x2,x3输出节点为y， w1,w2,w3为权向量（权重参数），b为偏置因子，f(...)为激活函数。它的结构完全模拟下图所示的生物神经元

也可以将偏置因子b也看做输入节点x0=1，则w0实际上就等于b。这样就得到 

 ，求解的目的就是为了得到一组最优的wi的值，使得每个样本的输入值和他的标签值（最终正确结果）尽可能的相等。参数的更新方式按如下公式更新（参数不断更新，最终使输出值等于标签值），此公式是通过梯度下降法更新得到的，t是标签值，每个样本都有一个已知的标签值（标签值就是最终正确结果，若y=t，则此过程结束，w不再更新），y是通过激活函数得到的预测值

下面我们来重点看一下这个过程，假设只有一个样本，一个特征。假设t=1，η=1，x1=1，w1=-5,b=0激活函数f(∑wixi+b)=（当结果为负数时等于-1，结果为正数时等于1）;  第一步将其带入激活函数的y=f(1*(-5))=-1,-1不等于标签值，这时根据w的更新公式对w进行更新再算y，▲w=1*(1-(-1))*1=2,w1=w1+▲w=-3，带入y=f(1*(-3))=-1，-1不等于标签值t，再对w进行更新，知道y等于标签值为止

注：η学习率取值在0~1之间，学习率太大容易造成权值调整不稳定，学习率太小，权值调整太慢，迭代次数太多。不同的问题学习率不一样，这个需要去试。

注：不一定预测值非要等于标签值，当误差小于某个预先设定的较小的之或者两次迭代之间的权值变化特别小或者设定最大的迭代次数，迭代次数超过最大次数就停止。

三，多层感知器

单层感知器相当于多层感知器里的一个神经元，多层感知器实际上是一个包括多个层的神经网络     通过把神经元进行纵向横向连接成一个交错的神经网络，去构造出复杂的数学函数，每个神经元都有自己的权重和偏置参数

下图所示，输入层进行权值想加后分别输入给隐藏层，隐藏层中有三个神经元，他们的输出值进行权值相加后又共同作为下一个神经元的输入值

 再如下图更复杂的神经网络，下图共有三个隐藏层，每个隐藏层有多个神经元

上面 两张图片所给的隐藏层都少，属于浅层神经网络，如果给10层，20层，甚至100层隐藏层就构成了深层神经网络。上述的每个隐藏层与它的前一层和后一层都有连接，这实际上是一种全连接神经网络，也就是说多层感知器是一种全连接神经网络，在此基础上可以引出其他更多其它形式的神经网络，比如说卷积神经网络，递归神经网络等等，会在后面介绍。