采用神经网络预测MNIST数据集
查看本篇博客,需要看一下前两篇博客,相信你会有所收获的!
1、构建神经网路
采用连接两个感知机,或者说是按照神经网络的输入层、隐藏层和输出层的结构对我们第二篇博客中提出的方法加以改进。同时,我们加入softmax函数,我们看下其公式:
softmax函数会返回一个数值数组(我们用logit表示),其中每个元素的取值都是在0-1之间的,它的输出总和恒为1,就是softmax函数将这个总和进行了归一化处理。
现在,我们先来编写分类的代码:
import numpy as np
# S型函数,平滑误差
def sigmoid(z):
return 1 / (1 + np.exp(-z))
# 将softmax的公式转换为代码的形式
def softmax(logits):
exponentials = np.exp(logits)
return exponentials / np.sum(exponentials, axis=1).reshape(-1, 1) # axis=1表示按行求和,重塑单列矩阵
def prepend_bias(X):
# 追加一个偏置列,且元素均是1
return np.insert(X, 0, 1, axis=1)
def forward(X, w1, w2):
# 从输入层到隐藏层的计算采用sigmoid函数
h = sigmoid(np.matmul(prepend_bias(X), w1))
# 从隐藏层到输出层的计算采用softmax函数
y_hat = softmax(np.matmul(prepend_bias(h), w2))
return y_hat
编写到这一步时,可以先运行一下,数组可任意填写,并在控制台上使用softmax函数感受下吧! 但是,如果输入的值差距很大的话,数值就会出现不稳定性,那么我们需要改进下softmax公式,如下:
output = np.array([[0.3, 0.8, 0.2],[0.1, 0.9, 0.1]])
softmax(output)
继续编写分类代码:
def classify(X, w1, w2):
y_hat = forward(X, w1, w2)
labels = np.argmax(y_hat, axis=1) # 获取y_hat每行最大值的索引
return labels.reshape(-1, 1)
# 交叉熵损失函数,使用交叉熵公式可以与softmax公式很好地匹配
# 采用损失函数可以衡量分类器在训练和分类过程中的表现
def loss(Y, y_hat):
return -np.sum(Y * np.log(y_hat)) / Y.shape[0]
# 记录正确结果的百分比
def report(iteration, X_train, Y_train, X_test, Y_test, w1, w2):
y_hat = forward(X_train, w1, w2)
training_loss = loss(Y_train, y_hat)
classifications = classify(X_test, w1, w2)
accuracy = np.average(classifications == Y_test) * 100.0
print("Iteration: %5d, Loss: %.6f, Accuracy: %.2f%%" % (iteration, training_loss, accuracy))
至此,分类代码已经编写完毕!
参考文献:
Programming Machine Learning: Form Coding to Deep Learning.[M],Paolo Perrotta,2021.6.