第二次打卡

过拟合、欠拟合及其解决方案

1. 初始化模型参数
2. 定义L2范数惩罚项
3. 定义训练和测试
4. 观察过拟合
5. 使用权重衰减

梯度消失、梯度爆炸

1. 获取和读取数据集
2. 预处理数据
3. 训练模型
4. K折交叉验证
5. 模型选择
6. 预测并在Kaggle中提交结果

循环神经网络进阶

1. GRU
2. LSTM
3. 深度循环神经网络
4. 双向循环神经网络

机器翻译及相关技术

1. 数据预处理
2. 分词
3. 建立词典
4. 载入数据集
5. Encoder-Decoder

注意力机制与Seq2seq模型

1. 注意力机制
2. 点积注意力
3. 多层感知机注意力

Transformer

1. Transformer
2. 多头注意力层
3. 基于位置的前馈网络
4. 位置编码
5. 编码器
6. 解码器