bert cnn知识抽取模型_BERT模型在NLP中目前取得如此好的效果，那下一步NLP该何去何从？...

BERT如今提出来已经很久，基于pre-trained model的研究可以说层出不穷，包括下游任务的应用，学到的权重的解释，压缩模型，knowledge学习等，最新的复旦邱老师关于Pre-trained 模型的综述：https://arxiv.org/pdf/2003.08271.pdf​arxiv.org

里面给出了预训练模型的分类总结以及在未来的可能方向，相信能有所收获。

目前可以尝试的方向：Multi-task

Multi-model (多模态，NLP结合图片，知识，语音等)

领域相关的预训练

BERT在不同领域，不同任务的尝试，每一层学习知识的理解。

GNN(Graph Neural Network: GNN, GCN and GAT), RL (Reinforcement Learning)，meta learning and few-shot learning. 结合知识图谱，常识等内容。

模型可解释性。

NLP与其他任务的结合，如情感分类与问答，检索，推荐等的结合，甚至结合图像情感分类。

以下摘抄自：阿里云云栖社区：通用句子向量漫谈​zhuanlan.zhihu.com引入领域知识、语法句法知识、业务知识、常识，训练更好的句子表征。领域知识包含知识图谱等结构化数据，给定一个知识图谱和一个自然语言问题，如何将该问题转化为机器能够理解和执行的语义表示，受到了来自全世界研究者的广泛关注和深入探索。

Meta-learning。对于低资源的语言或长尾问题，样本稀缺