使用scipy实现简单神经网络

1、准备工作

(1) 导入必要的库：

• numpy - 用于基本的数据操作
• scipy.optimize 中导入 minimize函数，用于训练模型
• matplotlib 用于数据可视化

import numpy as np
from scipy.optimize import minimize
import matplotlib.pyplot as plt

(2) 数据准备

首先需要设置的参数：

• N– 样本个数
• d– 输入样本的维度
• num_hidden --隐函层的个数

N,d,num_hidden = 100,1,20

接着生成数据：

• x– 区间 $[-10,10]$ 上取 N 个点，这里我们的 N=100。另外将其设为列向量，即x.shape=(N,1)
• y_true– Mexican Hat 函数
  $$y=\frac{\sin x}{x}$$
• y– Mexican Hat函数的样本点，这里我们使用了 $[-0.05,0.05]$ 上的噪声

数据生成完成后出图看一下样子：

x = np.linspace(-10,10,N).reshape(-1,1)
y_true = np.sin(x)/x
y = np.sin(x)/x + (np.random.rand(N,1)*0.1-0.05)

plt.plot(x,y,'-b')
plt.plot(x,y,'oy')
plt.show()

2、实现主要的函数

(1) Logistic function

这里我们采用 Logistic function 作为激活函数，定义为：
$$y=\frac{1}{1+{\mathrm{e}}^{-x}}$$

(2) Forward函数

这里我们采用简单的三层神经网络，因此前馈函数的公式为：

$$\hat{Y}={\left({\mathbf{w}}_{\ell \times 1}^{(2)}\right)}^{T}f\left({\left({\mathbf{w}}_{\ell \times d}^{(1)}\right)}^T{\mathbf{x}}_{d\times N}^{(2)}+{\mathbf{b}}^{(1)}\right)+b^{(2)}$$

这里需要特别说明一下，由于scipy.optimize只能优化第一个 positional argument,因此不能将每层的参数分开传给loss。这里我们为了方便，就在把所有参数放在一个向量 $\mathbf{\theta }$ 中，并且在forward函数中拆取各层参数。

(3) 损失函数

这里直接采用 MSE作为损失函数：

$$MSE=\frac{1}{N}\Vert Y-\hat{Y}{\Vert }^2$$

(4) mse_loss

这个函数有那么一点多余，不过在后面计算loss时会比较方便。

def logi_func(x):
    return 1/(1+np.exp(-x))

def forward(x,theta,d,num_hidden):
    w1 = theta[:d*num_hidden].reshape(d,num_hidden)
    w2 = theta[d*num_hidden:d*num_hidden+num_hidden].reshape(num_hidden,1)
    b1 = theta[d*num_hidden+num_hidden:-1].reshape(num_hidden,1)
    b2 = theta[-1]


    return logi_func(x.dot(w1)+b1.T).dot(w2)+b2

def nn_loss(theta,x,y,d,num_hidden):
    return ((forward(x,theta,d,num_hidden)-y)**2).mean()

def mse_loss(y,y_pred):
    return ((y-y_pred)**2).mean()

写完之后简单测试一下，没有什么问题：

theta = np.random.rand(d*num_hidden+num_hidden + num_hidden+1)

forward(x, theta, d, num_hidden)
print(nn_loss(theta,x,y,d,num_hidden))

32.92328775623846

3、训练模型

minimize函数的使用非常简单，第一个参数为loss的函数名，第二个参数为网络参数的初始值，第三个参数args是loss中第一个参数之外的所有参数组成的tuple。

minize这个函数默认的优化方法为BFGS,这个算法具有很好的收敛性，不过直接用于神经网络的训练时速度稍慢一点。

本次实验在 MacBook Pro (m1) 上进行，运行时间3.7s，可见比梯度下降要慢很多（通常应该比简单梯度精度要多，但在loss上体现并不见得明显）。

res = minimize(nn_loss, theta, args=(x, y, d, num_hidden))

返回值res是优化结果的集合，其中参数的最优值在 res.x中，因此将该参数传给forward即可算出拟合值。

y_pred = forward(x,res.x,d,num_hidden)

4、模型评估

MSE值为 0.00055，可见训练效果还是不错的：

print(mse_loss(y,y_pred))

0.000552170732918358

5、训练结果可视化

这里直接使用matploblib即可，用三种线型分别表示：函数真实值、样本值、模型拟合值。

可以看到拟合效果是很不错的。

plt.plot(x,y,'oy')
plt.plot(x, y_true, '-r')
plt.plot(x,y_pred,'-b')

plt.legend(['y_samples', 'y_true', 'y_pred'])
plt.show()

为了进一步验证模型的泛化性能，我们在 $[-5,5]$ 随机采100个点，再看一下模型的预测效果。

可以看到在中间这一段的 MSE 仅有0.00033，可见这种单层神经网络在函数拟合问题上的泛化性能还是很不错的（注意到这里我们只用了20个隐含层节点）。

x_test = np.sort(np.random.rand(100,1)*10-5,axis=0)
y_test_true = np.sin(x_test)/x_test
y_test_pred = forward(x_test, res.x, d, num_hidden)

plt.plot(x_test, y_test_true, 'oy')
plt.plot(x_test, y_test_pred, '-b')

plt.legend(['y_test_true', 'y_test_pred'])
plt.title('mse={0}'.format(mse_loss(y_test_true,y_test_pred)))
plt.show()

6、小结

• 用 scipy.optimize.minimize 完全可以实现简单的神经网络
• 本文构造的网络仅有20个隐含层，但拟合效果和泛化性能均较好，可见单隐含层神经网络在函数拟合上具有较好的性能
• 实现细节的关键在于灵活调用miminize函数，尤其是对loss的传参
• 本文在实现forward时对参数的重构方式有点麻烦，其实还可以更为简便，读者可自行思考完成
• 本文使用的算法效率并不高，可见针对具体的训练问题仍需重视算法的选择