深度学习之线性神经网络2

深度学习之线性神经网络2

1.原理区别

线性神经网络与单层感知器的区别：

1.1激活函数的不同。

如下图所示，单层感知器为sign函数，线性神经网络为purelin函数（y=x）。

1.2线性神经网络采用LMS算法调整网络的权重和偏置。

LMS学习规则与前面单层感知器的权值调整方法区别不大，都是用误差=期望输出-实际输出，只是激活函数不同，造成误差公式有点小的差异，而在后面的权向量调整量的计算公式中，都是用学习率误差输入X，这是相同的。

1.3Delta学习规则。

上面的LMS学习规则实际上是Delta学习规则的一种特殊情况，对purelin激活函数进行求导就是1，代入就可从Delta变为LMS。误差E=0.5*（期望输出-实际输出）^2,计算权值改变量公式为W=学习率*（期望输出-实际输出）激活函数的导数输入X。

1.4梯度下降法

这是对于Delta学习规则中欲使误差E最小，权值W的改变量应与误差的负梯度成正比这个原理的解释。假设目前的情况w在0-5之间，此时误差的负梯度是正数，那么权值w应该变大；假设变大后在5-10之间，此时误差的负梯度是正数，w继续变大；假设变大后在10-15之间，此时误差的负梯度是负数，那么w就会减小；多次迭代之后，误差会在0附近，所以可以让误差E最小。你也可以自己假设一下一开始权值在15-20之间的情况，你会发现，在这个原理之下，最后误差会稳定在0附近。

1.4.1梯度下降法的缺陷

1.学习率难以选取，大了会产生震荡，在误差的最小值附近摇摆；太小收敛缓慢，取到误差的最小值要迭代很多次。
2.容易陷入局部最优解。

2.应用

2.1问题

异或问题，即0 0=0，0 1=1，1 0=1，1 1=0，我们需要用线性神经网络做一个分类。

2.2代码

//引入库
import numpy as np
import matplotlib.pyplot as plt
//输入数据，加入非线性项，x1，x2,x1^2,x1,x2,x2^2
X=np.array([[1,0,0,0,0,0],
            [1,0,1,0,0,1],
            [1,1,0,1,0,0],
            [1,1,1,1,1,1]])
//输入标签
Y=np.array([-1,1,1,-1])
//权值初始化
W=(np.random.random(6)-0.5)*2
print(W)
//学习率
Lr=0.11
//迭代次数初始化
n=0
//神经网络输出初始化
O=0
//更新函数
def update():
    global X,Y,W,Lr,n
    //更新迭代次数
    n += 1
    //更新权值
    O=np.dot(X,W.T)
    W_C=Lr*((Y-O.T).dot(X))/int(X.shape[0])
    W=W+W_C
//迭代10000次
for _ in range(10000):
    update()
//正样本
x1=[0,1]
y1=[1,0]
//负样本
x2=[0,1]
y2=[0,1]
//计算曲线的表达式
def calculate(x,root):
    a=W[5]
    b=W[2]+x*W[4]
    c=W[0]+x*W[1]+x*x*W[3]
    if root==1:
        return (-b+np.sqrt(b*b-4*a*c))/(2*a)
    if root==2:
        return (-b-np.sqrt(b*b-4*a*c))/(2*a)
//输出最后的结果
O=np.dot(X,W.T)
print(O)
//画图
xdata=np.linspace(0,5)
plt.figure()
plt.plot(xdata,calculate(xdata,1),'r')
plt.plot(xdata,calculate(xdata,2),'r')
plt.plot(x1,y1,'bo')
plt.plot(x2,y2,'yo')
plt.show()

2.3运行结果

1.权值W和最后结果输出

2.输出结果图片