周志华《机器学习》西瓜书 小白Python学习笔记(六) ———— 第五章 神经网络 python代码 pytorch
作为神经网络中最为广泛使用的BP神经网络,本文使用西瓜数据集3.0(课后题5.5)通过手工和Pytorch两种方式搭建BP神经网络。
伪代码
输入: 训练集 D = { ( x k , y k ) } k = 1 m D=\left\{\left(\boldsymbol{x}_{k}, \boldsymbol{y}_{k}\right)\right\}_{k=1}^{m} D={
(xk,yk)}k=1m
\quad\quad 学习率 η \eta η
过程:
1: 在(0,1)范围内随机初始化网络中所有连接权和阈值
2: repeat
3: \quad for all ( x k , y k ) ∈ D \left(x_{k}, y_{k}\right) \in D (xk,yk)∈D do
4: \quad\quad 根据当前参数计算当前样本的输出 y ^ k \hat{\boldsymbol{y}}_{k} y^k
5: \quad\quad 计算输出层神经元的梯度项 g j g_{j} gj
6: \quad\quad 计算隐层神经元的梯度项 e h e_{h} eh
7: \quad\quad 更新连接权 w h j , v i h w_{h j}, v_{i h} whj,vih 与闻值 θ j , γ h \theta_{j}, \gamma_{h} θj,γh
8: \quad end for
9: until 达到停止条件
输出:连接权与阈值确定的多层前馈神经网络
手工搭建
首先将西瓜数据集中的特征进行离散化后,建立数据集。
def dataSet():
# 西瓜数据集离散化
x = [[2, 3, 3, 2, 1, 2, 3, 3, 3, 2, 1, 1, 2, 1, 3, 1, 2],
[1, 1, 1, 1, 1, 2, 2, 2, 2, 3, 3, 1, 2, 2, 2, 1, 1],
[2, 3, 2, 3, 2, 2, 2, 2, 3, 1, 1, 2, 2, 3, 2, 2, 3],
[3