【深度学习】Numpy实现简单神经网络

最新推荐文章于 2024-09-10 09:53:43 发布

稷殿下

最新推荐文章于 2024-09-10 09:53:43 发布

阅读量1.1k

点赞数 1

分类专栏： NN 文章标签：神经网络

本文链接：https://blog.csdn.net/qq_38904659/article/details/108932779

版权

NN 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

原文地址：点击访问

许久未更，是因为开学之后学习任务太充实了。每天都有做不完的事情，每件事情都又想把它做好。

我航中秋国庆假期长达8天，真应了那句话：该放的假一天不少，该补的课一次没有。期间，有多门作业要完成。今天，为大家推送简单神经网络的实现，是我的《人工智能加速器》的作业。

实验内容

搭建基本的多层神经网络，并在给定测试集上进行精度测试。

注1：不使用深度学习框架完成网络搭建。
注2：不限制编程语言，推荐使用python进行神经网络搭建，允许使用numpy等工具包。
注3：使用给定的训练集和测试集，可使用提供的代码模板（bp_template.py）并在其基础上进行修改，也可以重新进行编写。

实验要求

网络输入：784 个输入节点（每个节点对应图片的一个像素）
网络输出：10 个输出节点（分别代表0~9 这10 个数字）
网络深度建议为3 至5 层即可，如果太深则需要太长运行时间。
使用给定训练集（mnist_train.csv）进行权重训练，使用测试集（mnist_test.csv）测试并给出测试精度。（不对精度做特别的要求，只需在合理范围内即可）

网络架构

本文参考tutorial学习了后向传播的原理, 参考tutorial学习了后向传播的设计, 从而设计出了两个隐含层的简单神经网络. 具体网络架构见图1所示.

主要代码实现

完整代码点击阅读原文跳转到我的Github，后向与前向传播代码如下：

# neural network class definition
class neuralNetwork:
    param = {}

    # initialise the neural network
    def __init__(self, inputnodes, hiddennodes, outputnodes, learningrate):
        '''
        The network consists of three types of layers: input layer(784 nodes), hidden layers and output layer(10 nodes).
        You can define the number of hidden nodes and layers you want.
        '''

        self.hiddennodes_1 = hiddennodes[0]
        self.hiddennodes_2 = hiddennodes[1]

        self.param['W1'] = np.random.randn(hiddennodes[0], inputnodes) * np.sqrt(1 / hiddennodes[0])
        self.param['b1'] = np.random.randn(hiddennodes[0], 1) * np.sqrt(1 / hiddennodes[0])
        self.param['W2'] = np.random.randn(hiddennodes[1], hiddennodes[0]) * np.sqrt(1 / outputnodes)
        self.param['b2'] = np.random.randn(hiddennodes[1], 1) * np.sqrt(1 / hiddennodes[1])
        self.param['W3'] = np.random.randn(outputnodes, hiddennodes[1]) * np.sqrt(1 / outputnodes)
        self.param['b3'] = np.random.randn(outputnodes, 1) * np.sqrt(1 / outputnodes)

        self.learningrate = learningrate
        self.inputnodes = inputnodes
        self.hiddennodes = hiddennodes
        self.outputnodes = outputnodes

    def forward(self, inputs_list):
        '''
        forward the neural network
        '''

        inputs_list = inputs_list.reshape(-1, 1)
        self.inputs_list = inputs_list

        z1 = np.dot(self.param['W1'], inputs_list) + self.param['b1']
        h1 = sigmoid(z1)

        z2 = np.dot(self.param['W2'], h1) + self.param['b2']
        h2 = sigmoid(z2)

        z3 = np.dot(self.param['W3'], h2) + self.param['b3']
        h3 = sigmoid(z3)

        self.final_outputs = h3
        self.z1 = z1
        self.h1 = h1
        self.z2 = z2
        self.h2 = h2
        self.z3 = z3
        self.h3 = h3

    def Backpropagation(self, targets_list):
        '''
        propagate backword
        '''
        change = {}

        targets_list = targets_list.reshape(-1, 1)
        loss_val = mse_loss(targets_list, self.final_outputs)

        # calculate W3 update
        error = -2 * (targets_list - self.final_outputs)
        error = np.multiply(error, sigmoid(self.z3, derivative=True))
        change['W3'] = np.dot(error, self.h2.T)
        change['b3'] = error

        # calculate W2 update
        error = np.multiply(np.dot(self.param['W3'].T, error), sigmoid(self.z2, derivative=True))
        change['W2'] = np.dot(error, self.h1.T)
        change['b2'] = error

        # calculate W1 update
        error = np.multiply(np.dot(self.param['W2'].T, error), sigmoid(self.z1, derivative=True))
        change['W1'] = np.dot(error, self.inputs_list.T)
        change['b1'] = error

        self.param['W1'] -= self.learningrate * change['W1']
        self.param['b1'] -= self.learningrate * change['b1']
        self.param['W2'] -= self.learningrate * change['W2']
        self.param['b2'] -= self.learningrate * change['b2']
        self.param['W3'] -= self.learningrate * change['W3']
        self.param['b3'] -= self.learningrate * change['b3']

        return loss_val