文本情绪分析学习篇(二)
BERT
NLP处理当下比较流行的就是Bert算法,所以这次学习了这篇提出Bert的论文,要从源头学起
名称:BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding
论文链接:link.
看完论文的第一感受是 好像不知道讲了什么——所以悄悄的找了中文看看,参考博客都附在文末了,再结合知云文献翻译看了看英文文献
总的来说:这就是一种跟以前不同的NLP算法模型,算法模型参考Attenion is All You Need这篇paper提出的结构,论文的后半部分主要是讲bert应用在11个NLP实验上,通过迁移学习实验数据来证明了bert是可以广泛的应用在各个NLP任务中。
BETR的第三章介绍的结构
Bert的framework主要有两部分:Pre-training && Fine_tuning