手撸机器学习系列之 - 神经网络前向传播

本例是手写数字识别的一个案例,使用的是神经网路正向传播

首先加载库

import numpy as np
import scipy.io as sio
import matplotlib.pyplot as plt

接着导入数据

data=sio.loadmat("ex3data1.mat")
type(data)

dict

可知 data 是一个 dict , 我们看下他有哪些东西

data.keys()

dict_keys(['__header__', '__version__', '__globals__', 'X', 'y'])

获取原始数据 raw_X 和 raw_y

raw_X=data['X']
raw_y=data['y']
raw_X.shape,raw_y.shape

((5000, 400), (5000, 1))

raw_y 是一个二维数组, 我们将其变为一维数组

y=raw_y.flatten()
y.shape

(5000,)

现在得到了 raw_X 和 y,为了方便,我们将其变为 X,y

X=raw_X
y=y

X.shape,y.shape

((5000, 400), (5000,))

接下来加载已经训练好的权重

theta = sio.loadmat('ex3weights.mat')
type(theta)

dict

# 查看其数据
theta.keys()

dict_keys(['__header__', '__version__', '__globals__', 'Theta1', 'Theta2'])

# 获取数据
theta1=theta['Theta1']
theta2=theta['Theta2']
theta1.shape,theta2.shape

((25, 401), (10, 26))

# 定义 sigmod
def sigmoid(z):
    return 1/(1+np.exp(-z))

神经网络是这样:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-b39HAxOg-1600692167001)(attachment:%E5%9B%BE%E7%89%87.png)]

# 先计算输入层. 输入层比较简单,就是原始数据
a1=X

接着计算隐藏层,隐藏层为 $sigmoid(X\ast \theta 1.T)$

维度:
X: (5000, 400)
theta1: (25, 401)

在 X 的首列插入全 1

X=np.insert(raw_X,0,values=1,axis=1)
X.shape,theta1.shape

((5000, 401), (25, 401))

# 计算 a2
a2=sigmoid(X@theta1.T)
a2.shape,theta2.shape

((5000, 25), (10, 26))

# 接着计算 a3 输出
a2_t=np.insert(a2,0,values=0,axis=1)
a2_t.shape

(5000, 26)

a3=sigmoid(a2_t@theta2.T)
a3.shape

(5000, 10)

pre_res=np.argmax(a3,axis=1)+1
pre_res.shape

(5000,)

# 看下准确率
acc=[1 if a==b else 0 for (a,b) in zip(y,pre_res)]
acc=np.sum(acc)/len(y)
acc

0.976

fig,ax=plt.subplots(ncols=10,nrows=10,figsize=(10,10),sharex=True,sharey=True)
image_indexs=np.random.choice(len(raw_X),100)
images=raw_X[image_indexs,:]
# 配合 sharex=True,sharey=True 隐藏坐标
plt.xticks([])
plt.yticks([])
# 注意,0 = 10
for i in range(10):
    for j in range(10):
        f_index=i*10+j
        ax[i,j].imshow(images[f_index].reshape((20,20)).T)
#         pre_num[image_indexs[f_index]] 为图片的预测值
        ax[i,j].text(2, 4, pre_res[image_indexs[f_index]] , horizontalalignment='center',bbox=dict(facecolor='red', alpha=0.5))

把 a2 绘制出来看看

fig,ax=plt.subplots(ncols=10,nrows=10,figsize=(10,10),sharex=True,sharey=True)
image_indexs=np.random.choice(len(raw_X),100)
images=a2[image_indexs,:]
# 配合 sharex=True,sharey=True 隐藏坐标
plt.xticks([])
plt.yticks([])
# 注意,0 = 10
for i in range(10):
    for j in range(10):
        f_index=i*10+j
        ax[i,j].imshow(images[f_index].reshape((5,5)).T)
#         pre_num[image_indexs[f_index]] 为图片的预测值
        ax[i,j].text(2, 4, pre_res[image_indexs[f_index]] , horizontalalignment='center',bbox=dict(facecolor='red', alpha=0.5))

a2 就是学到的特征,其实我们看不出啥