让机器看懂人类文字 introduceELMOBERTGPT(Generative Pre-Training) introduce 之前的做法: 但是问题在于,同一个单词会有很多不同的意思,尽管在差不多的位置 更多的例子 ELMO 基于RNN预测下一个单词 同样可以deep 但是会有很多层,选择哪一层呢 全部都要 BERT 架构是transformers的encoder一样的 第一个训练的方法 第二个训练做法: 使用方法一: 使用方法二: 使用方法三: 使用方法四: ERNIE 在BERT上进一步 Multilingual BERT GPT(Generative Pre-Training) 巨多参数的GPT 思想: 重复: 惊人的事情,没有预先训练过,也可以得到结果 一个例子:输入一段话,ML自己写完