原创 :Prabowo
作者:Prabowo Yoga Wicaksana
译者:LZM
推特董事会已于2022年4月25日同意埃隆·马斯克提出的440亿美元收购要约。支持言论自由是他决定收购Twitter的原因之一。他还想用新特性来增强产品,使算法开源以增加信任,打败垃圾邮件机器人,并建立完善的人类验证系统。
在这篇文章中,我们不会深入探讨这件事的经济学原理或对未来的影响,而是分析公众对这件事的情绪。
在介绍主题之前,我们先来回顾一下BERT和RoBERTa模型。
BERT
BERT,全名为Bi-directonal Encoder Representation from Transformer,是一种基于Transformer结构的双向语言编码模型。
与XLM-R一样,BERT和RoBERTa一起,被归类为预训练型语言模型(Pre-Trained Language Model,PLM)中的掩码语言模型(Masked Language Model,MLM)。MLM的训练目标是:根据给定的上下文,正确地预测被掩掉的单词。掩掉的单词被随机替换为[MASK]或者替换为随机token。
图1. Masked Language Model架构
BERT使用的是Transformer的编码器,而非想