Python神经网络编程_4、如何构建神经网络

以下大部分引用于周志华教授的西瓜书和Python神经网络编程（开源）这两本书。     

以问题为导向，本文的解决问题思路是：1、分成小问题。2、确认问题对象。3、找到解决方法。

在平时使用神经网络的时候，不需要明白原理。但是本文可能是一个非相关专业人员最形象的理解。

人工智能：利用计算机解决感性的问题（图像识别）

问题：如何亲手构建神经网络

问题一：什么是神经网络

1、神经网络的定义

上图中定义的关键字：并行互连（基本结构）、模拟交互反应（基本功能），我们对于神经网络的样子就有了基本的概念。

2、神经网络的大致样子

在上图这个网络里，有9个单元，三三一组，三层网络，层间有连接。

问题二：亲手构建需要什么“材料”？

Y=F(X)，我们提供输入，通过网络函数，得到我们需要的结果。                                           “真的不能再简单了”

这里以千米转化为英里的预测机器为例，假设仅知道“英里=千米×C”， 其中C为常数。

问题2.1：输入X和输出Y是什么？

输入是千米，输出为英里。

问题2.2：网络F的基本结构和功能是什么？

基本结构：如上图所示示例问题仅需要一个参数，也就是网络仅需要一个神经元就可以了。

基本功能：求解缺失参数值C     

------->问题2.2.1 如何求解C呢

-------->1、先假设一个C为0.5：千米为100时，英里为50。

-------->2、误差为12.137

-------->3、再假设一个C为0.6：千米为100时，英里为60。

-------->4、误差为少2.137

-------->5、再假设一个C为0.7：千米为100时，英里为70。

-------->6、误差为-7.863（超调了）

-------->7、返回C=0.6，并改步长0.1为0.01，假设一个C为0.61：千米为100时，英里为61。

-------->8、误差为1.137

-------->之后一直循环，知道得到允许的误差范围

上面我们引入了两个参数：C和调节步长。利用误差值（期望的值-计算的值），为我们调节这两个参数不断提供策略（迭代的修改C值）。公里和英里转化示例告诉我们：利用误差，不断改进C和步长，就可以得到我们期望的网络。

上文的示例中：Y=F(X)，Y和X都是一维且线性的，网络F好像也只有一个单元，最简单了。

问题三：图像识别是分类问题，那单一分类器怎么做？

经过计算，预测得出准确的数值计算机擅长，但不是人类所擅长的，特征分类器才是需要机器去学习的。

我们以毛虫和瓢虫的分类器为例，研究Y和X都是多维时，如何调节参数。

如上图所示X={宽度，长度}，Y={毛虫，瓢虫}

问题3.1：如何利用线性模型进行分类？

前两幅都是猜的C值不可以用，第三幅成功分类，也就是说我们可以对未知小虫进行分类了。

问题3.2：除了猜，利用误差如何得出分类器的参数？

如上图所示我们希望所有瓢虫的点处于直线下方（上图3）， 而不是在直线上（上图1）。 这条直线需要成为瓢虫和毛虫之间的一条分界线， 而不是给定小虫宽度、 预测小虫长度的一个预测器（（上图1））。具体的训练数据如下：

借鉴问题2.2.1的迭代求解思想。

假设y =Ax为分类器线性函数，正确的期望值t 称为目标值。 为了得到t 值， 我们需要稍微调整参数A的值。

上面的图解释了误差和参数改变量的大致关系，如果我们直接利用ΔA改变A，则会出现参数A取决于最后一次数据这个问题。乳腺图所示

这里为了改变，引入适度改进（也就是学习率）的概念，也就是每次改进时，只改进误差的一部分。

通过不断迭代就可以找到适合的值

问题4：如何处理多线性分类器？

比较经典的问题是：异或问题

      无法通过一条线性的直线（一个分类器）将红点跟绿点分离，这时我们需要多个分类器（神经元），这也是神经网络的核心思想。

上文中我们的单元意味着一个参数，下面将介绍较复杂的神经元

在这个里面我们可以看到如开头讲述的交互结构（多个输入）和权值（贡献关系，相当于上文提参数C和A），同时我们引入了阈值的概念，并用两个函数代替。下图的网络共三层：输入、隐藏层、输出层。

由X和网络得出Y，我们不在赘述。主要是利用误差E调节权重。首先让我们看看上文里是如何做的。

千米换英里：我们利用误差的大小和正负，为调节权重提供依据

单一分类器：我们学会了利用学习率适当的学习

这里我们通过上一级的权值去分配误差

       你可以观察到， 我们在两件事情上使用了权重。 第一件事情， 在神经网络中， 我们使用权重， 将信号从输入向前传播到输出层。 此前， 我们就是在大量地做这个工作。 第二件事情， 我们使用权重， 将误差从输出向后传播到网络中。 我们称这种方法为反向传播。这样我们就可以修改权值了。

       为了避免终止于错误的山谷或错误的函数最小值， 我们从山上的不同点开始， 多次训练神经网络， 确保并不总是终止于错误的山谷。 不同的起始点意味着选择不同的起始参数， 在神经网络的情况下， 这意味着选择不同的起始链接权重。

很多数学上的公式可以参考开头说的书，今天就写到这里。