有趣的深度学习——使用 BERT 实现一个古体诗生成器

前言

前阵子使用RNN写了个古体诗生成器（有趣的深度学习——使用TensorFlow 2.0 + RNN 实现一个古体诗生成器）的NLP小Demo玩玩。而现在说到NLP，就很难绕开Transformers系列模型，譬如BERT、GPT-2、RoBERTa、ALBERT、XLNet等等。Transformers系列模型不断刷新着NLP任务得分记录，在绝大多数任务下都远胜于传统的、基于RNN的NLP任务。

那么，既然之前用RNN写了个古体诗生成器，我们不妨也用BERT写一个吧，正好对比一下效果。

转载请注明来源：https://blog.csdn.net/aaronjny/article/details/104802847

解读

代码结构和功能与有趣的深度学习——使用TensorFlow 2.0 + RNN 实现一个古体诗生成器(https://blog.csdn.net/aaronjny/article/details/103806954)基本上相同，只是将模型从RNN换成了BERT，注释也很详细，感觉没有解读的必要了。

对照着这两份文档就能搞清楚：

基于RNN的模型的详细文档：使用TensorFlow 2.0 + RN