BERT
文章平均质量分 80
今天不标数据的小wu
这个作者很懒,什么都没留下…
展开
-
如何用BERT模型预测电影的未来几天的情感倾向性
如果要根据过去的电影评论评价预测接下来的几天该电影的情感倾向,那么就可以对过去几天的所有评论做情感倾向性分析,并比较其积极情感评分与消极情感评分,如果大多数评论都为积极情感评分,那么模型就能预测接下来几天,该电影的评论会是积极的,反之亦然。而前面提到的测试过程需要对所有电影分析所有评论的情感倾向性。使用BERT工具来训练模型,BERT适合做这种需要考虑上下文的文本表示学习,因为BERT使用掩码语言模型进行训练,其中AE是自动编码模型,它与AR模型最大的区别就是AE可以考虑上下文信息,比如,对于同样的一句话原创 2021-05-16 22:02:47 · 1143 阅读 · 1 评论 -
BERT 理解
BERT的基础架构是Transformer的encoder部分:为什么说基础架构是Transformer的encoder部分,原因:BERT是12个encoder的叠加:而Transformer的架构是这样的:Transformer中的输入是input embedding和positional encoding,而BERT的输入是:input=token embedding + segment embedding + position embedding解释一下上面的3个部分的输入:Tok原创 2021-04-29 15:37:59 · 1282 阅读 · 0 评论