Task07

优化算法进阶

• 11.6 Momentum
  • An ill-conditioned Problem
  • Maximum Learning Rate
  • Supp: Preconditioning
    • Solution to ill-condition
    • Momentum Algorithm
    • Exponential Moving Average
    • Supp
    • 由指数加权移动平均理解动量法
  • Implement
  • Pytorch Class
• 11.7 AdaGrad
  • Algorithm
  • Feature
  • Implement
  • Pytorch Class
• 11.8 RMSProp
  • Algorithm
  • Implement
  • Pytorch Class
• 11.9 AdaDelta
  • Algorithm
  • Implement
  • Pytorch Class
• 11.10 Adam
  • Algorithm
  • Implement
  • Pytorch Class

word2vec

• 词嵌入基础
  • PTB 数据集
    • 载入数据集
    • 建立词语索引
    • 二次采样
    • 提取中心词和背景词
  • Skip-Gram 跳字模型
    • PyTorch 预置的 Embedding 层
    • PyTorch 预置的批量乘法
    • Skip-Gram 模型的前向计算
  • 负采样近似
    • 批量读取数据
  • 训练模型
    • 损失函数
    • 模型初始化
    • 训练模型
    • 测试模型
• 参考
  Dive into Deep Learning. Ch14.1-14.4.
  动手学深度学习. Ch10.1-10.3.
  Dive-into-DL-PyTorch on GitHub

词嵌入进阶

• GloVe 全局向量的词嵌入
  - GloVe 模型
  - 载入预训练的 GloVe 向量
• 求近义词和类比词
  + 求近义词
  + 求类比词