一个有情怀的公众号
![640?](https://i-blog.csdnimg.cn/blog_migrate/f64d3bc8c00641cdc1fd15099573fd45.gif)
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/f8734aaadebc7f55137ce86503e7f381.jpeg)
![640?wx_fmt=gif](https://i-blog.csdnimg.cn/blog_migrate/07953fa24806fa94f146419687f72f9a.gif)
1
Motivation
在之前的机器学习基石课程中,我们就接触过Perceptron模型了,例如PLA算法。Perceptron就是在矩gt(x)外面加上一个sign函数,取值为{-1,+1}。现在,如果把许多perceptrons线性组合起来,得到的模型G就如下图所示:
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/b4286326fc03a06cd376590c83f38177.jpeg)
将左边的输入(x0,x1,x2,⋯,xd)与T个不同的权重(w1,w2,⋯,wT)相乘(每个wi是d+1维的),得到T个不同的perceptrons为(g1,g2,⋯,gT)。最后,每个gt给予不同的权重(α1,α2,⋯,αT),线性组合得到G。G也是一个perceptron模型。
从结构上来说,上面这个模型包含了两层的权重,分别是wt和α。同时也包含了两层的sign函数,分别是gt和G。那么这样一个由许多感知机linear aggregation的模型能实现什么样的boundary呢?
举个简单的例子,如下图所示,g1和g2分别是平面上两个perceptrons。其中,红色表示-1,蓝色表示+1。这两个perceptrons线性组合可能得到下图右侧的模型,这表示的是g1和g2进行与(AND)的操作,蓝色区域表示+1。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/41e725ba2fc440e7d4963fbafcb7440b.png)
如何通过感知机模型来实现上述的AND(g1,g2)逻辑操作呢?一种方法是令第二层中的α0=−1,α1=+1,α2=+1。这样,G(x)就可表示为:
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/09e04603e5deac6bfae60a5136b1206b.png)
g1和g2的取值是{-1,+1},当g1=−1,g2=−1时,G(x)=0;当g1=−1,g2=+1时,G(x)=0;当g1=+1,g2=−1时,G(x)=0;当g1=+1,g2=+1时,G(x)=1。感知机模型如下所示:
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/49abb655d1e5081f5528ce1b489dd5a2.jpeg)
这个例子说明了一些简单的线性边界,如上面的g1和g2,在经过一层感知机模型,经线性组合后,可以得到一些非线性的复杂边界(AND运算)G(x)。
除此之外,或(OR)运算和非(NOT)运算都可以由感知机建立相应的模型,非常简单。
所以说,linear aggregation of perceptrons实际上是非常powerful的模型同时也是非常complicated模型。再看下面一个例子,如果二维平面上有个圆形区域,圆内表示+1,圆外表示-1。这样复杂的圆形边界是没有办法使用单一perceptron来解决的。如果使用8个perceptrons,用刚才的方法线性组合起来,能够得到一个很接近圆形的边界(八边形)。如果使用16个perceptrons,那么得到的边界更接近圆形(十六边形)。因此,使用的perceptrons越多,就能得到各种任意的convex set,即凸多边形边界。之前我们在机器学习基石中介绍过,convex set的VC Dimension趋向于无穷大(2的N次方)。这表示只要perceptrons够多,我们能得到任意可能的情况,可能的模型。但是,这样的坏处是模型复杂度可能会变得很大,从而造成过拟合(overfitting)。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/41f1804bfd504129f17683abb1962e1b.jpeg)
总的来说,足够数目的perceptrons线性组合能够得到比较平滑的边界和稳定的模型,这也是aggregation的特点之一。
但是,也有单层perceptrons线性组合做不到的事情。例如刚才我们将的AND、OR、NOT三种逻辑运算都可以由单层perceptrons做到,而如果是异或(XOR)操作,就没有办法只用单层perceptrons实现。这是因为XOR得到的是非线性可分的区域,如下图所示,没有办法由g1和g2线性组合实现。所以说linear aggregation of perceptrons模型的复杂度还是有限制的。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/817c7c34f3b4a028f2ad7663b47eb7ad.png)
那么,为了实现XOR操作,可以使用多层perceptrons,也就是说一次transform不行,我们就用多层的transform,这其实就是Basic Neural Network的基本原型。下面我们就尝试使用两层perceptrons来实现XOR的操作。
首先,根据布尔运算,异或XOR操作可以拆分成:
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/0819e6e29d6073ca5dc90757754d6796.png)
这种拆分实际上就包含了两层transform。第一层仅有AND操作,第二层是OR操作。这种两层的感知机模型如下所示:
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/4610a45aa49427e0945d71976e8921c4.png)
这样,从AND操作到XOR操作,从简单的aggregation of perceptrons到multi-layer perceptrons,感知机层数在增加,模型的复杂度也在增加,使最后得到的G能更容易解决一些非线性的复杂问题。这就是基本神经网络的基本模型。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/7f14e16613ecade34560ece8a88cf4f2.png)
顺便提一下,这里所说的感知机模型实际上就是在模仿人类的神经元模型(这就是Neural Network名称的由来)。感知机模型每个节点的输入就对应神经元的树突dendrite,感知机每个节点的输出就对应神经元的轴突axon。
2
Neural Network Hypothesis
上一部分我们介绍的这种感知机模型其实就是Neural Network。输入部分经过一层一层的运算,相当于一层一层的transform,最后通过最后一层的权重,得到一个分数score。即在OUTPUT层,输出的就是一个线性模型。得到s后,下一步再进行处理。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/ebda1815baf3c82789029856c69a1c9c.jpeg)
我们之前已经介绍过三种线性模型:linear classification,linear regression,logistic regression。那么,对于OUTPUT层的分数s,根据具体问题,可以选择最合适的线性模型。如果是binary classification问题,可以选择linear classification模型;如果是linear regression问题,可以选择linear regression模型;如果是soft classification问题,则可以选择logistic regression模型。本节课接下来将以linear regression为例,选择squared error来进行衡量。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/bf631f7e7ef0ba3a37b93186db1e08a4.jpeg)
上面讲的是OUTPUT层,对于中间层,每个节点对应一个perceptron,都有一个transform运算。上文我们已经介绍过的transformation function是阶梯函数sign()。那除了sign()函数外,有没有其他的transformation function呢?
如果每个节点的transformation function都是线性运算(跟OUTPUT端一样),那么由每个节点的线性模型组合成的神经网络模型也必然是线性的。这跟直接使用一个线性模型在效果上并没有什么差异,模型能力不强,反而花费了更多不必要的力气。所以一般来说,中间节点不会选择线性模型。
如果每个节点的transformation function都是阶梯函数(即sign()函数)。这是一个非线性模型,但是由于阶梯函数是离散的,并不是处处可导,所以在优化计算时比较难处理。所以,一般也不选择阶梯函数作为transformation function。
既然线性函数和阶梯函数都不太适合作为transformation function,那么最常用的一种transformation function就是tanh(s),其表达式如下:
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/0f0d8d545b02328d29098dcd4bfa0d33.png)
tanh(s)函数是一个平滑函数,类似“s”型。当|s|比较大的时候,tanh(s)与阶梯函数相近;当|s|比较小的时候,tanh(s)与线性函数比较接近。从数学上来说,由于处处连续可导,便于最优化计算。而且形状上类似阶梯函数,具有非线性的性质,可以得到比较复杂强大的模型。
顺便提一下,tanh(x)函数与sigmoid函数存在下列关系:
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/9724e3f39172032a7f75dcd1cf69b874.png)
其中,
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/6c762a441aad6ac2044f150f66f024c4.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/7bd11528de9d7410dcef964c3679f22d.jpeg)
那么,接下来我们就使用tanh函数作为神经网络中间层的transformation function,所有的数学推导也基于此。实际应用中,可以选择其它的transformation function,不同的transformation function,则有不同的推导过程。
下面我们将仔细来看看Neural Network Hypothesis的结构。如下图所示,该神经网络左边是输入层,中间两层是隐藏层,右边是输出层。整体上来说,我们设定输入层为第0层,然后往右分别是第一层、第二层,输出层即为第3层。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/4e4b6f7473f2b9f733846ae30887d8c6.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/c5bfbe145b3d6f580001444bd255931a.png)
对于每层的分数score,它的表达式为:
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/83459adcd94fb6ea0aa675894f70753f.png)
对于每层的transformation function,它的表达式为:
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/74a544e7449f539ea136e07750552726.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/e4a3148c0aa66947e1c943961a2d8bb5.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/b23373141901ac1ef4e4675833854c39.png)
介绍完Neural Network Hypothesis的结构之后,我们来研究下这种算法结构到底有什么实际的物理意义。还是看上面的神经网络结构图,每一层输入到输出的运算过程,实际上都是一种transformation,而转换的关键在于每个权重值。每层网络利用输入x和权重w的乘积,在经过tanh函数,得到该层的输出,从左到右,一层一层地进行。其中,很明显,x和w的乘积越大,那么tanh(wx)就会越接近1,表明这种transformation效果越好。再想一下,w和x是两个向量,乘积越大,表明两个向量内积越大,越接近平行,则表明w和x有模式上的相似性。从而,更进一步说明了如果每一层的输入向量x和权重向量w具有模式上的相似性,比较接近平行,那么transformation的效果就比较好,就能得到表现良好的神经网络模型。也就是说,神经网络训练的核心就是pattern extraction,即从数据中找到数据本身蕴含的模式和规律。通过一层一层找到这些模式,找到与输入向量x最契合的权重向量w,最后再由G输出结果。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/f78213cf2cd1a2665590feb373f040a3.png)
3
Neural Network Learning
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/7e1e8ccee3625760fd81f7fbf1a460b3.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/4e4b6f7473f2b9f733846ae30887d8c6.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/36788ee954d8e37844a4904ce81dad75.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/e2ba73499e620dc78761563bce994239.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/55d6fa4a11c0ac8f2b6a9c75af6901e9.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/0bd1f87e45c9b90794f0461cfb55e18c.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/9ceaab40778263948d2d9a7f788972bc.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/8638f7f8b105313290920d1f9764d251.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/38d30e94e3611f04da2e57077bbf5c43.png)
以上是输出层求偏导的结果。如果是其它层,即l≠L,偏导计算可以写成如下形式:
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/b685db5a1ec6847d721f858760003b47.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/e3b885e60516f29c88fc9dbeedbd804f.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/e5fde2219fc2f695032ec8644d7802e9.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/08cce2c32c71bebde22cdfde57a6ecb0.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/a38bc0e65511a393bfa2af1d335bf3aa.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/a544f677a2c9adaa10c7ac69c7561957.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/d9427518c1e0b841db7a04d0cca1c70e.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/c9914bbfb35d5541094a6f2c76d2896a.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/115b81629c7e1a7954733e5588665312.png)
神经网络中,这种从后往前的推导方法称为Backpropagation Algorithm,即我们常常听到的BP神经网络算法。它的算法流程如下所示:
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/6bf274373b2e3a73e2d3d6ca5fa52dca.jpeg)
上面采用的是SGD的方法,即每次迭代更新时只取一个点,这种做法一般不够稳定。所以通常会采用mini-batch的方法,即每次选取一些数据,例如N/10,来进行训练,最后求平均值更新权重w。这种做法的实际效果会比较好一些。
4
Optimization and Regularization
经过以上的分析和推导,我们知道神经网络优化的目标就是让Ein(w)最小化。本节课我们采用error measure是squared error,当然也可以采用其它的错误衡量方式,只要在推导上做稍稍修改就可以了,此处不再赘述。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/6a0ad8928f7887482674dcadbe6d6ee6.png)
下面我们将主要分析神经网络的优化问题。由于神经网络由输入层、多个隐藏层、输出层构成,结构是比较复杂的非线性模型,因此Ein(w)可能有许多局部最小值,是non-convex的,找到全局最小值(globalminimum)就会困难许多。而我们使用GD或SGD算法得到的很可能就是局部最小值(local minimum)。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/18d65428e3a4a6ed0b208fb963e6e15c.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/022468adab427997bb3de8e05806056c.jpeg)
下面从理论上看一下神经网络模型的VC Dimension。对于tanh这样的transfer function,其对应的整个模型的复杂度dvc=O(VD)。其中V是神经网络中神经元的个数(不包括bias点),D表示所有权值的数量。所以,如果V足够大的时候,VC Dimension也会非常大,这样神经网络可以训练出非常复杂的模型。但同时也可能会造成过拟合overfitting。所以,神经网络中神经元的数量V不能太大。
为了防止神经网络过拟合,一个常用的方法就是使用regularization。之前我们就介绍过可以在error function中加入一个regularizer,例如熟悉的L2 regularizer Ω(w):
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/e72825cee6f17ac9716f3c3125a26efe.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/c3d300e690ecb630d6bb264786602950.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/c01d2a38275e350716921ea4d342c90b.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/a13819d70886192e3b56070c2f1f0606.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/079693a0fed2ce17af4262ea5113f099.jpeg)
除了weight-elimination regularizer之外,还有另外一个很有效的regularization的方法,就是Early Stopping。简而言之,就是神经网络训练的次数t不能太多。因为,t太大的时候,相当于给模型寻找最优值更多的可能性,模型更复杂,VC Dimension增大,可能会overfitting。而t不太大时,能有效减少VC Dimension,降低模型复杂度,从而起到regularization的效果。Ein和Etest随训练次数t的关系如下图右下角所示:
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/9063973ec3736338256f9492406a3a35.jpeg)
那么,如何选择最佳的训练次数t呢?可以使用validation进行验证选择。
5
Summary
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/b8d38986d16196f1380da093ce17f949.jpeg)
往期回顾
![640?wx_fmt=gif](https://i-blog.csdnimg.cn/blog_migrate/6701559170d1241e0713126c38b232a5.gif)
![640?wx_fmt=gif](https://i-blog.csdnimg.cn/blog_migrate/a32ff2d3cb0833e79c89216daf668318.gif)
长按二维码
扫描关注
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/4d8b4bb62dd8e73fd1c8925bc19a02ac.jpeg)
如果喜欢我的文章,就点赞或分享吧!