【啃书】《深度学习入门基于Python的理论与实现》第5章误差反向传播法

最新推荐文章于 2022-12-14 01:00:00 发布

凯旋16668

最新推荐文章于 2022-12-14 01:00:00 发布

阅读量1k

点赞数

分类专栏：【啃书】《深度学习入门基于Python的理论与实现》文章标签：新星计划 python numpy

本文链接：https://blog.csdn.net/weixin_44331401/article/details/117885420

版权

【啃书】《深度学习入门基于Python的理论与实现》专栏收录该内容

5 篇文章 3 订阅

订阅专栏

文章目录

5.1　计算图
5.2　链式法则
5.3　反向传播
5.7　误差反向传播法的实现

5.1　计算图

计算图的优点是，可以通过正向传播和反向传播高效地计算各个变量的导数值。

5.2　链式法则

链式法则是关于复合函数的导数的性质，定义如下:
如果某个函数由复合函数表示，则该复合函数的导数可以用构成复合函数的各个函数的导数的乘积表示。
在这里插入图片描述

5.3　反向传播

在这里插入图片描述

5.7　误差反向传播法的实现

在进行具体的实现之前，我们再来确认一下神经网络学习的全貌图。神
经网络学习的步骤如下所示。
前提
神经网络中有合适的权重和偏置，调整权重和偏置以便拟合训练数据的
过程称为学习。神经网络的学习分为下面4个步骤。
步骤1（ mini-batch）
从训练数据中随机选择一部分数据。
步骤2（计算梯度）
计算损失函数关于各个权重参数的梯度。
步骤3（更新参数）
将权重参数沿梯度方向进行微小的更新。
步骤4（重复）
重复步骤1、步骤2、步骤3。

本章所学的内容

通过使用计算图，可以直观地把握计算过程。
计算图的节点是由局部计算构成的。局部计算构成全局计算。
计算图的正向传播进行一般的计算。通过计算图的反向传播，可以计算各个节点的导数。
通过将神经网络的组成元素实现为层，可以高效地计算梯度（反向传播法）
通过比较数值微分和误差反向传播法的结果，可以确认误差反向传播法的实现是否正确（梯度确认）。

# coding: utf-8
import sys, os
sys.path.append(os.pardir)

import numpy as np
from dataset.mnist import load_mnist
from two_layer_net import TwoLayerNet

# 读入数据
(x_train, t_train), (x_test, t_test) = load_mnist(normalize=True, one_hot_label=True)

network = TwoLayerNet(input_size=784, hidden_size=50, output_size=10)

iters_num = 10000
train_size = x_train.shape[0]
batch_size = 100
learning_rate = 0.1

train_loss_list = []
train_acc_list = []
test_acc_list = []

iter_per_epoch = max(train_size / batch_size, 1)

for i in range(iters_num):
    batch_mask = np.random.choice(train_size, batch_size)
    x_batch = x_train[batch_mask]
    t_batch = t_train[batch_mask]
    
    # 梯度
    #grad = network.numerical_gradient(x_batch, t_batch)
    grad = network.gradient(x_batch, t_batch)
    
    # 更新
    for key in ('W1', 'b1', 'W2', 'b2'):
        network.params[key] -= learning_rate * grad[key]
    
    loss = network.loss(x_batch, t_batch)
    train_loss_list.append(loss)
    
    if i % iter_per_epoch == 0:
        train_acc = network.accuracy(x_train, t_train)
        test_acc = network.accuracy(x_test, t_test)
        train_acc_list.append(train_acc)
        test_acc_list.append(test_acc)
        print(train_acc, test_acc)