跟李沐老师动手学习AI学习笔记：第四章——多层感知机

4.1 感知机 [二分类问题——0、1问题]

1、感知机

2、训练感知机

 

 3、收敛定理

 4、XOR问题（异或运算问题）

感知机不能拟合XOR函数，只能产生线性分割面。

 5、总结

4.2 多层感知机

1、学习XOR（异或运算）

2、单隐藏层

 [选择非线性的激活函数的目的：如果是线性函数，则得到的output和input还是线性的关系，所以不能用线性激活函数]

3、多层分类（运用softmax）

4、多隐藏层

 

 5、总结

4.3 多层感知机从零开始实现（代码）

 

 

 4.4 多层感知机的简洁实现

 

4.5 模型选择

1、一些基本概念

·训练误差：模型在训练数据上的误差；

·泛化误差：模型在新数据上的误差；

·验证数据集：一个用来评估模型好坏的数据集；（注：不要和训练数据集混在一起）

·测试数据集：只用一次的数据集；

·K-则交叉验证：（在有足够多数据时使用），将训练数据分成K块，for循环i=1……k，第i块作为验证数据集，其他作为训练数据集，然后求K个验证集误差的平均值。（K常取5或10）

 2、过拟合、欠拟合

 

 

 

 

 

 

 

4.6 模型选择、过拟合、欠拟合（代码）

 4.7 权重衰退

 

 

 （代码）

 

 

4.8 暂退法or丢弃法（dropout）

 

 

 

（代码）

 

 

 

4.8 数值稳定性+模型初始化和激活函数

1、数值稳定性

 

 

2、模型初始化和激活函数