【唐宇迪】神经网络原理解读与整体架构

神经网络原理解读与整体架构

课时16 神经元个数对结果的影响

神经元越多，拟合程度越好，过多会造成过拟合。

隐层中增加一个神经元增加的是多个权重参数（数据量个权重参数）

课时17 正则化与激活函数

越小的λ值越符合训练集的结果，λ增大过拟合效果越来越小

激活函数，实现非线性变换，sigmoid函数会出现梯度消失的问题。目前用relu函数，

课时18 神经网络过拟合解决方法

1. 数据预处理：不同的预处理结果会使得模型的想过发生很大的差异，首先完成中心化，然后进行维度的放缩。

2. 参数初始化：尽量应该是权重参数的波动较小一些

3. Drop-out：舍弃全连接，实现模型的化简，但是效果会变差

课程链接：https://study.163.com/course/courseMain.htm?courseId=1003606092&share=1&shareId=1383716838