以前看论文和博客的时候经常看到自回归模型,自编码模型,感觉云里雾里的。今天搜了搜,看清了本质。
自回归语言模型,说白了就是通过上文一步一步预测下文,不能看见未来信息的模型。像坚持只用单向Transformer的GPT就是典型的自回归语言模型
自编码语言模型就是 类似于bert 这种,使用了 mask LM 的,可以使用上下文语境信息的。这也是为什么bert 是双向的原因。区别与bi lstm 这种,使用两层网络的
以前看论文和博客的时候经常看到自回归模型,自编码模型,感觉云里雾里的。今天搜了搜,看清了本质。
自回归语言模型,说白了就是通过上文一步一步预测下文,不能看见未来信息的模型。像坚持只用单向Transformer的GPT就是典型的自回归语言模型
自编码语言模型就是 类似于bert 这种,使用了 mask LM 的,可以使用上下文语境信息的。这也是为什么bert 是双向的原因。区别与bi lstm 这种,使用两层网络的