学习目标:
学习本书的自然语言处理部分
学习内容(学习资料):
- b站视频P12-P19
- 纸质书
- 在kaggle平台跑部分代码
- 少部分jupyter文档
学习收获:
对神经网络时代的自然语言处理有了更细致的理解
- 学习了各种循环神经网络架构
- 学习了词向量、编码器解码器、attention等概念
学习中遇到的问题
- 在自己用mxnet组网时发现,有很多maxnet框架细节要注意,比如循环神经网络的forward要把input进行转置等,所以还是要仔细看视频、文档吧。
- 此外有的地方需要对模型输入输出的形状很明晰,比如你在用注意力机制要concat的时候,而不像前面卷积神经网络大部分可以都让gluon自己来推断输入的维度。