学习周报20200322 | 预训练模型、数据增强

【学习周报】

总结自己的学习和遇到的好材料。

往期回顾：

• 学习周报20200210 | 多线程和线程池

• 学习周报20200216 | 学习计划安排整理

• 学习周报20200223 | 两本书

• 学习周报20200301 | 两本书+论文荒

• 学习周报20200315 | 蜥蜴书我看完了

预训练模型

预训练模型这块，主要来是一篇在arvix上刊登的，来自复旦大学的论文，3月18日的，可以说是新鲜出炉了：

• Pre-trained Models for Natural Language Processing: A Survey。

有精读价值，还没看完哈哈哈。

数据增强

这个本就有排期去调研，看一下有什么比较稳定的数据扩充方法，可以现实应用对数据量的依赖，有些资料可以供大家一起学习。一般都在cv领域，但其实nlp领域也有很多可以借鉴的思路。

• 深度学习之:数据增强 (Data Augmentation)：https://blog.csdn.net/Torres_10/article/details/86681547

• NLP中一些简单的数据增强技术：https://zhuanlan.zhihu.com/p/63182132

• 自然语言处理中有哪些常用的数据增强的方式呢？：https://www.zhihu.com/question/305256736/answer/550873100

各个领域之间互相借鉴其实已经是一个基操了，发展比较成熟的cv中有很多可以吸收的养分，多看看无妨，在nlp里面，数据增强的方式也有，而且还很多已经被实验证明了效果（我这里做过一些简单的操作，也有5-8个点的提升），所以觉得可多尝试，尤其是资源比较匮乏的时候，很香。