《动手学深度学习》学习日志2

一、过拟合、欠拟合及其解决方案

1. 欠拟合现象：
   模型无法达到一个较低的误差
2. 过拟合现象：
   训练误差较低但是泛化误差依然较高，二者相差较大
3. 应对欠拟合的方法
   • 换更复杂的模型；
   • 增加模型参数
4. -应对过拟合的方法：
   • -增加训练样本
   • 权重衰减：通过为模型损失函数添加惩罚项使学出的模型参数值较小
   • 丢弃法：设置丢弃率p，则训练的过程中有p的概率的对参数清零，有1-p的概率的对参数进行拉伸；但丢弃率为1 的时候，返回一个0矩阵
5. 错题解析：
   • 关于验证数据集的描述错误的是：（A）
   A. 测试数据集可以用来调整模型参数
   B. 验证数据集可以用来调整模型参数
   解析：测试数据集不可以用来调整模型参数，如果使用测试数据集调整模型参数，可能在测试数据集上发生一定程度的过拟合，此时将不能用测试误差来近似泛化误差。

二、机器翻译及其相关技术：

1. 数据预处理
   • 数据清洗：去除乱码，大小写统一，单词和标点符号之间加空格；
   • 分词：字符串->单词组成的列表；
   • 建立词典：单词组成的列表->单词id组成的列表，即将所有单词列表连接起来；然后调用Vocab方法转换成id列表；
   • 载入数据集：每个句子转换成id列表；；
   • 得到数据生成器；
2. 对于输入输出不等长的情况：<