bert预训练模型将天赋带到生成模型领域

1、SimBERTgit
权重，它是以Google开源的BERT模型为基础，基于微软的UniLM思想设计了融检索与生成于一体的任务，来进一步微调后得到的模型，所以它同时具备相似问生成和相似句检索能力。不过当时除了放出一个权重文件和示例脚本之外，未对模型原理和训练过程做进一步说明。在这篇文章里，我们来补充这部分内容。
2、UniLM
论文 2019 UniLM v1:https://arxiv.org/pdf/1905.03197.pdf
GIT：https://github.com/microsoft/unilm
论文 2020 UniLM v2 https://arxiv.org/abs/2002.12804
git添加链接描述
UniLM是一个融合NLU和NLG能力的Transformer模型，由微软在去年5月份提出来的.
详情见苏神的博客 https://kexue.fm/archives/7427
3、
开源预训练语言模型合集 追一开源
4、bojone/bert4keras https://github.com/bojone/bert4keras/blob/master/examples/task_question_answer_generation_by_seq2seq.py
5、如何应对Seq2Seq中的“根本停不下来”问题？
6、阿里预训练模型：PALM：2020-PALM- Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation
link：https://arxiv.org/abs/2004.07159

[1] 基于CNN的阅读理解式问答模型：
DGCNN: https://spaces.ac.cn/archives/5409
[2] bert4keras:
https://github.com/bojone/bert4keras
[3] 从语言模型到Seq2Seq：Transformer如戏，全靠Mask:
https://spaces.ac.cn/archives/6933
[4] 万能的seq2seq：基于seq2seq的阅读理解问答:
https://spaces.ac.cn/archives/7115
[5] task_question_answer_generation_by_seq2seq:
https://github.com/bojone/bert4keras/blob/master/examples/task_question_answer_generation_by_seq2seq.py
[6] 如何应对Seq2Seq中的“根本停不下来”问题？:
https://spaces.ac.cn/archives/7500#%E8%A7%A3%E7%A0%81%E7%AE%97%E6%B3%95
[7] Seq2Seq中Exposure Bias现象的浅析与对策:
https://spaces.ac.cn/archives/7259