李宏毅nlp学习笔记05：BERT

1.Context Vector（考虑上下文关系的向量）：

2.self-supervised learning（自监督学习）：

3.预测下一个token：

需要注意的是，输入w1来预测出w2的时候，是不能同时把w2输入的，很显然的。否则模型直接训练为与下一个输入相同即可。
通过h1来得出输出为w1的方法，上图中的右侧为一种方法。
最早的使用的model 是一个LSTM：

现在一般使用的是self-attention：

具体是使用了with constraint（限制注意力矩阵中的那些位置可以运算），以防止获取到未来的信息。
比如四个的时候，只有绿色的部分才能够进行计算，白色的部分不能。

4.从上面可以得到，我们可以使用Predict next token来产生一个文章