Transformer相关——Encoder-Decoder框架
Encoder将输入(Source)编码为固定大小的向量的过程是一个“信息有损的压缩过程”,信息量越大,转化得到的固定向量中信息的损失就越大,这就得Decoder无法直接无关注输入信息的更多细节。输入的序列过长,先输入的内容携带的信息可能会被后输入的信息稀释掉或被覆盖了,那么解码的时候一开始就没有获得输入序列足够的信息,可能会导致模型效果比较差。基于Encoder-Decoder框架设计的模型可以应用于:机器翻译、对话机器人、诗词生成、代码补全、文章摘要、语音识别、图像描述生成等方面。
转载
2024-08-04 17:43:16 ·
7 阅读 ·
0 评论