MNIST数据集，图像识别（三）

采用神经网络预测MNIST数据集

查看本篇博客，需要看一下前两篇博客，相信你会有所收获的！

1、构建神经网路 

         采用连接两个感知机，或者说是按照神经网络的输入层、隐藏层和输出层的结构对我们第二篇博客中提出的方法加以改进。同时，我们加入softmax函数，我们看下其公式：

        softmax函数会返回一个数值数组（我们用logit表示），其中每个元素的取值都是在0-1之间的，它的输出总和恒为1，就是softmax函数将这个总和进行了归一化处理。

        现在，我们先来编写分类的代码：

import numpy as np


# S型函数，平滑误差
def sigmoid(z):
    return 1 / (1 + np.exp(-z))


# 将softmax的公式转换为代码的形式
def softmax(logits):
    exponentials = np.exp(logits)
    return exponentials / np.sum(exponentials, axis=1).reshape(-1, 1)  # axis=1表示按行求和，重塑单列矩阵


def prepend_bias(X):
    # 追加一个偏置列，且元素均是1
    return np.insert(X, 0, 1, axis=1)


def forward(X, w1, w2):
    # 从输入层到隐藏层的计算采用sigmoid函数
    h = sigmoid(np.matmul(prepend_bias(X), w1))
    # 从隐藏层到输出层的计算采用softmax函数
    y_hat = softmax(np.matmul(prepend_bias(h), w2))
    return y_hat

        编写到这一步时，可以先运行一下，数组可任意填写，并在控制台上使用softmax函数感受下吧！ 但是，如果输入的值差距很大的话，数值就会出现不稳定性，那么我们需要改进下softmax公式，如下： 

output = np.array([[0.3, 0.8, 0.2],[0.1, 0.9, 0.1]])

softmax(output)

        继续编写分类代码：

def classify(X, w1, w2):
    y_hat = forward(X, w1, w2)
    labels = np.argmax(y_hat, axis=1)  # 获取y_hat每行最大值的索引
    return labels.reshape(-1, 1)


# 交叉熵损失函数，使用交叉熵公式可以与softmax公式很好地匹配
# 采用损失函数可以衡量分类器在训练和分类过程中的表现
def loss(Y, y_hat):
    return -np.sum(Y * np.log(y_hat)) / Y.shape[0]


# 记录正确结果的百分比
def report(iteration, X_train, Y_train, X_test, Y_test, w1, w2):
    y_hat = forward(X_train, w1, w2)
    training_loss = loss(Y_train, y_hat)
    classifications = classify(X_test, w1, w2)
    accuracy = np.average(classifications == Y_test) * 100.0
    print("Iteration: %5d, Loss: %.6f, Accuracy: %.2f%%" % (iteration, training_loss, accuracy))

        至此，分类代码已经编写完毕！ 

参考文献：

Programming Machine Learning: Form Coding to Deep Learning.[M],Paolo Perrotta,2021.6.