http://xxx.itp.ac.cn/pdf/2103.10360.pdf
摘要:
使用一个autoencoder和autoagressive的模型达到更好效果.
定义
输入文字:
x=[\(x_1,...,x_n\)]
text spans:
{\(s_1,...s_m\)}\(s_i\):
一段连续的tokens
每一个s用一个[MASK]来替代. 所以他一个符号盖住了一片token.
随机交换spans, 用autogressive来做预测.
http://xxx.itp.ac.cn/pdf/2103.10360.pdf
摘要:
使用一个autoencoder和autoagressive的模型达到更好效果.
定义
输入文字:
x=[\(x_1,...,x_n\)]
text spans:
{\(s_1,...s_m\)}\(s_i\):
一段连续的tokens
每一个s用一个[MASK]来替代. 所以他一个符号盖住了一片token.
随机交换spans, 用autogressive来做预测.