神经网络与深度学习第一周课程学习

本文介绍了BP神经算法,包括多层感知机的概念、在解决异或问题中的应用以及反向传播的过程。通过PyTorch示例展示了如何使用BP算法训练一个多层神经网络,包括模型结构、激活函数、损失函数和训练步骤。
摘要由CSDN通过智能技术生成

核心内容:BP神经算法

基础铺垫:

多层感知机:

概念:在输入和输出层间加一或多层隐单元,构成多层感知器(多层前馈神经网络)。

应用:可解决异或(XOR)问题由输入得到两个隐节点、一个输出层节点的输出。

相关定理:定理1:若隐层节点(单元)可任意设置,用三层阈值节点的网络,可以实现任意的二值逻辑函数。

定理2:若隐层节点(单元)可任意设置,用三层S型非线性特 性节点的网络,可以一致逼近紧集上的连续函数或按 范数逼近紧集上的平方可积函数。

核心:

BP算法:

概念:多层前馈网络的反向传播 (BP)学习算法,简称BP算法,是有导师的学习,它是梯度下降法在多层前馈网中的应用。

网络结构:网络的输入、输出向量,神经元用节点表示,网络由输入层、隐层和输出层节点组成,隐层可一层,也可多层(图中是单隐层),前层至后层节点通过权联接。由于用BP学习算法,所以常称BP神经网络。

BP 学习算法由正向传播和反向传播组成:
正向传播是输入信号从输入层经隐层,传向输出层,若输出层得到了期望的输出,则学习算法结束;否则,转至反向传播。
  反向传播是将误差 ( 样本输出与网络输出之差)按原联接通路反向计算,由梯度下降法调整各层节点的权值和阈值,使误差减小。
计算过程:
  1. 设置初始权系数w0为较小的随机非零值;
  2. 给定输入/输出样本对,计算网络输出,完成前向传播
  3. 计算目标函数J。如J<\varepsilon ,训练成功,退出;否则转入4
  4. 反向传播计算由输出层,按梯度下降法将误差反向传播,逐层调整权值。
详细算法案例:
import torch
from torch import nn
from d2l import torch as d2l
batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)

初始化模型参数:

num_inputs, num_outputs, num_hiddens = 784, 10, 256
W1 = nn.Parameter(torch.randn(
num_inputs, num_hiddens, requires_grad=True) * 0.01)
b1 = nn.Parameter(torch.zeros(num_hiddens, requires_grad=True))
W2 = nn.Parameter(torch.randn(
num_hiddens, num_outputs, requires_grad=True) * 0.01)
b2 = nn.Parameter(torch.zeros(num_outputs, requires_grad=True))
params = [W1, b1, W2, b2]

激活函数:

def relu(X):
a = torch.zeros_like(X)
return torch.max(X, a)

实现模型:

def net(X):
X = X.reshape((-1, num_inputs))
H = relu(X@W1 + b1) # 这里“@”代表矩阵乘法
return (H@W2 + b2)

损失函数:

loss = nn.CrossEntropyLoss(reduction='none')

训练:

num_epochs, lr = 10, 0.1
updater = torch.optim.SGD(params, lr=lr)
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, updater)

得到模型:

  • 5
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值