监督学习:
验证集的引入:
绍三种经典的评估方法:简单的留出验证、K 折验证, 以及带有打乱数据的重复 K 折验证。
神经网络输入数据的预处理。向量化、标准化、处理缺失 值和特征提取:
向量化:
值标准化:
处理缺失值:
过拟合和欠拟合:
正则化竟然理解错了:不是对最后的loss(w)求梯度之类的过程,而仅仅是一个简单的计算然后加到原来的损失函数上。
防止过拟合时可以:减小网络大小。
读懂验证损失这个图:
验证损失越小说明模型越小。
随着epoch的增加,验证损失首先减小,然后增加,增加说明开始过拟合。
添加权重正则化:
dorpout正则化,有趣的小故事: