深度学习入门笔记3#搭建一个模型

深度学习入门笔记3-搭建一个模型

在我们之前的两篇文章里,我完成了minst的数据集下载以及一些计算函数和计算层的类的编写.

那么这一次呢我们使用这些计算函数和层构建起一个简单的有两层的神经网络模型,我们要编写一个TwoLayerNet类,我们将通过这个类来管理我们的计算层以及权重偏置等参数,以及实现训练的前向反向传播计算和loss函数

首先是__init__初始化函数

import numpy as np
from collections import OrderedDict
import calculate


class TwoLayerNet:
    """有两个Affine层的全连接神经网络"""

    def __init__(self, input_size, hidden_size, output_size, weight_init_std=0.01):
        # 初始化权重
        self.params = {}
        self.params["W1"] = weight_init_std * np.random.randn(input_size, hidden_size)
        self.params["b1"] = np.zeros(hidden_size)
        self.params["W2"] = weight_init_std * np.random.randn(hidden_size, output_size)
        self.params["b2"] = np.zeros(output_size)

        # 生成层
        self.layers = OrderedDict()
        self.layers["Affine1"] = calculate.Affine(self.params["W1"], self.params["b1"])
        self.layers["Relu1"] = calculate.Relu()
        self.layers["Affine2"] = calculate.Affine(self.params["W2"], self.params["b2"])

        self.lastLayer = calculate.SoftmaxWithLoss()

这里的params参数是一个字典型，它分别储存的两层节点的权重和偏置。

然后loayers是一个OrderedDict型也就是有序字典，他储存这两层和两层之间连接的对应的计算的函数，然后我们将所有的params绑定到对应的层上。

    def predict(self, x):
        """前向传播推理(不包括输出层 )"""
        for layer in self.layers.values():
            x = layer.forward(x)

        return x

然后对于模型的前向传播，我们只需遍历layers就可以对整个模型进行了前向遍历的操作。

    def loss(self, x, t):
        """计算损失函数值-x:输入数据,t:监督数据"""
        y = self.predict(x)
        return self.lastLayer.forward(y, t)

    def accuracy(self, x, t):
        """计算识别精度"""
        y = self.predict(x)
        y = np.argmax(y, axis=1)
        if t.ndim != 1:
            t = np.argmax(t, axis=1)

        accuracy = np.sum(y == t) / float(x.shape[0])
        return accuracy

loss函数调用predict前向传播函数，通过输出层lastLayer获得损失函数值。

    def gradient(self, x, t):
        """通过反向传播法计算关于权重参数的梯度"""
        # 前向传播
        self.loss(x, t)

        # 反向传播
        dout = self.lastLayer.backward()

        layers = list(self.layers.values())
        layers.reverse()
        for layer in layers:
            dout = layer.backward(dout)

        # 设定
        grads = {}
        grads["W1"], grads["b1"] = self.layers["Affine1"].dW, self.layers["Affine1"].db
        grads["W2"], grads["b2"] = self.layers["Affine2"].dW, self.layers["Affine2"].db

        return grads

gradient函数上，我们调用了每一层的反向传播方法来得到权重的偏置，并以此对他的神经网络进行更新。