周志华《机器学习》西瓜书 小白Python学习笔记（六） ———— 第五章 神经网络 课后习题5.5 python实现 pytorch

作为神经网络中最为广泛使用的BP神经网络，本文使用西瓜数据集3.0（课后题5.5）通过手工和Pytorch两种方式搭建BP神经网络。

伪代码

输入: 训练集 D = { ( x k , y k ) } k = 1 m D=\left\{\left(\boldsymbol{x}_{k}, \boldsymbol{y}_{k}\right)\right\}_{k=1}^{m} D={ (xk​,yk​)}k=1m​
\quad\quad 学习率 $\eta$
过程:
1: 在(0,1)范围内随机初始化网络中所有连接权和阈值
2: repeat
3: \quad for all $\left(x_k,y_k\right)\in D$ do
4: \quad\quad 根据当前参数计算当前样本的输出 ${\hat{\mathbf{y}}}_k$
5: \quad\quad 计算输出层神经元的梯度项 $g_j$
6: \quad\quad 计算隐层神经元的梯度项 $e_h$
7: \quad\quad 更新连接权 $w_{hj},v_{ih}$ 与闻值 ${\theta }_j,{\gamma }_h$
8: \quad end for
9: until 达到停止条件
输出：连接权与阈值确定的多层前馈神经网络

手工搭建

首先将西瓜数据集中的特征进行离散化后，建立数据集。

def dataSet():
    # 西瓜数据集离散化
    x = [[2, 3, 3, 2, 1, 2, 3, 3, 3, 2, 1, 1, 2, 1, 3, 1, 2],
         [1, 1, 1, 1, 1, 2, 2, 2, 2, 3, 3, 1, 2, 2, 2, 1, 1],
         [2, 3, 2, 3, 2, 2, 2, 2, 3, 1, 1, 2, 2, 3, 2, 2, 3],
         [3