encoder-decoder: 实际就是认知的过程
encoder: 在于记忆和理解信息,将目标信息提炼为一个低秩的向量(纯度高,信息熵小)
tip: 常在此过程中应用一些,attention机制,先验规则等
decoder:在于回忆和应用这些信息。即将低秩的信息加工提取(也可混入其他信息),解码为我们需要的形式
PS:基于encoder–decoder的机器翻译,就是说让机器先用一种语言的方式理解一句话,然后再将机器的理解用另一种语言翻译出来。
encoder-decoder: 实际就是认知的过程
encoder: 在于记忆和理解信息,将目标信息提炼为一个低秩的向量(纯度高,信息熵小)
tip: 常在此过程中应用一些,attention机制,先验规则等
decoder:在于回忆和应用这些信息。即将低秩的信息加工提取(也可混入其他信息),解码为我们需要的形式
PS:基于encoder–decoder的机器翻译,就是说让机器先用一种语言的方式理解一句话,然后再将机器的理解用另一种语言翻译出来。