python深度学第四章笔记

4.2模型评估方法

1.留出验证（数据足够，增加一个验证集）

2。K折验证（数据分成K分，k-1训练，1验证）

3.带有打乱数据的重复K折验证（和K折验证一样，数据分成K分，但是每次训练打乱数据顺序，切执行p次）

4.3数据需处理

1.向量化（声音，图片，文本都转换为张量）

2.值标准化（图像数据除以255.对每个特征做标准化，使其均值为0，方差为1）

3.处理缺失值（设置为0）

4.4过拟合与欠拟合

防止过拟合

1.减小网络大小（参数多的模型拥有更大的记忆容量）

2.添加权重正则化（奥卡姆剃刀原理，简单模型是指参数值分布的熵更小的模型，或者参数更少的模型），其实现方法是向网络损失函数中添加与较大权重值相关的成本。就是每个系数都会使得网络总损失增加，所以为了减小损失，应该使得参数变成0。

3.添加dropout正则化（训练过程中随即将改层的一些输出特征舍弃，就是变成0，测试时成比例放大）

4.5机器学习的通用工作流程

1.定义问题，收集数据

2.选择衡量成功的指标

3.确定评估方法

4.准备数据

5.开发比基准更好的模型

6.扩大模型规模：开发过拟合的模型

7.模型正则化与调节超参数