神经网络与深度学习 Class 11：人工神经网络（上）

目录

11.1 神经元与感知机

​11.2 实例：单层神经网络

1.神经网络的设计

2.神经网络的实现

3.具体步骤

11.3 多层神经网络

​1.异或问题

2.复杂边界

3.前馈神经网络

 4.万能近似定理

5.隐含层设计

11.4 误差反向传播算法

1-1-1神经网络的误差反向传播

11.5 激活函数

1.sigmoid函数

2.ReLu函数

3.Leaky-ReLu函数 

4.其他函数 

11.6 实例：多层神经网络 

---

11.1 神经元与感知机

11.2 实例：单层神经网络

1.神经网络的设计

·神经网络结构

·激活函数

 分类问题使用softmax函数

·损失函数

交叉熵损失函数

2.神经网络的实现

·softmax函数

·独热编码

·交叉熵损失函数

评价交叉熵损失

3.具体步骤

·导入库

·加载数据

·预处理

·设置超参数及参数初始值

 ·训练模型

·结果可视化

11.3 多层神经网络

1.异或问题

2.复杂边界

 例如：

3.前馈神经网络

 4.万能近似定理

5.隐含层设计

11.4 误差反向传播算法

误差反向传播算法：利用链式法则，反向传播损失函数的梯度信息，计算出损失函数对网络中所有模型参数的梯度     

1-1-1神经网络的误差反向传播

设置模型参数初始值>正向计算预测值>计算误差>误差反向传播>重复正向计算、反向传播，直至参数更新完毕

11.5 激活函数

1.sigmoid函数

  

2.ReLu函数

3.Leaky-ReLu函数 

4.其他函数 

11.6 实例：多层神经网络