核心内容:BP神经算法
基础铺垫:
多层感知机:
概念:在输入和输出层间加一或多层隐单元,构成多层感知器(多层前馈神经网络)。
应用:可解决异或(XOR)问题由输入得到两个隐节点、一个输出层节点的输出。
相关定理:定理1:若隐层节点(单元)可任意设置,用三层阈值节点的网络,可以实现任意的二值逻辑函数。
定理2:若隐层节点(单元)可任意设置,用三层S型非线性特 性节点的网络,可以一致逼近紧集上的连续函数或按 范数逼近紧集上的平方可积函数。
核心:
BP算法:
概念:多层前馈网络的反向传播 (BP)学习算法,简称BP算法,是有导师的学习,它是梯度下降法在多层前馈网中的应用。
网络结构:网络的输入、输出向量,神经元用节点表示,网络由输入层、隐层和输出层节点组成,隐层可一层,也可多层(图中是单隐层),前层至后层节点通过权联接。由于用BP学习算法,所以常称BP神经网络。
BP
学习算法由正向传播和反向传播组成:
正向传播是输入信号从输入层经隐层,传向输出层,若输出层得到了期望的输出,则学习算法结束;否则,转至反向传播。
反向传播是将误差
(
样本输出与网络输出之差)按原联接通路反向计算,由梯度下降法调整各层节点的权值和阈值,使误差减小。
计算过程:
- 设置初始权系数w0为较小的随机非零值;
- 给定输入/输出样本对,计算网络输出,完成前向传播
- 计算目标函数J。如J<
,训练成功,退出;否则转入4
- 反向传播计算由输出层,按梯度下降法将误差反向传播,逐层调整权值。
详细算法案例:
import torch
from torch import nn
from d2l import torch as d2l
batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)
初始化模型参数:
num_inputs, num_outputs, num_hiddens = 784, 10, 256
W1 = nn.Parameter(torch.randn(
num_inputs, num_hiddens, requires_grad=True) * 0.01)
b1 = nn.Parameter(torch.zeros(num_hiddens, requires_grad=True))
W2 = nn.Parameter(torch.randn(
num_hiddens, num_outputs, requires_grad=True) * 0.01)
b2 = nn.Parameter(torch.zeros(num_outputs, requires_grad=True))
params = [W1, b1, W2, b2]
激活函数:
def relu(X):
a = torch.zeros_like(X)
return torch.max(X, a)
实现模型:
def net(X):
X = X.reshape((-1, num_inputs))
H = relu(X@W1 + b1) # 这里“@”代表矩阵乘法
return (H@W2 + b2)
损失函数:
loss = nn.CrossEntropyLoss(reduction='none')
训练:
num_epochs, lr = 10, 0.1
updater = torch.optim.SGD(params, lr=lr)
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, updater)
得到模型: