如何训练一个中英翻译模型
文章平均质量分 86
以英译中为例,介绍一个翻译模型的搭建,训练,模型转换与部署,供深度学习爱好者学习,算法主要包括LSTM,Transfomer等
六五酥
每天积累一点点
展开
-
【如何训练一个中英翻译模型】LSTM机器翻译模型部署之ncnn(python)(五)
完成了onnx模型的转换之后,我们要做的就是将模型转换为ncnn模型。4、ncnn模型加载与推理(python版)有点问题,先把调试代码贴在下面吧。3、onnx模型转换为ncnn。原创 2023-07-26 10:02:44 · 5256 阅读 · 0 评论 -
【如何训练一个中英翻译模型】LSTM机器翻译模型部署之onnx(python)(四)
num_decoder_tokens同样可以在训练的时候获取到(至于不知道怎么来的,可以看这个系列文章的第一、二篇),我这边得到的num_decoder_tokens是849,当然实际上这个模型的 input_2:[unk__55,unk__56,849]已经给了num_decoder_tokens,我们只需要把unk__55,unk__56都改为1就可以了,即[1,1,849],那么对onnx进行simplify。哈哈哈,开完笑的,都写出来了,怎么会不知道,请听我慢慢说来。可得到简化后的onnx模型啦。原创 2023-07-25 16:56:26 · 5191 阅读 · 0 评论 -
【如何训练一个中英翻译模型】LSTM机器翻译模型部署(三)
细心的小伙伴会发现前面的文章在模型保存之后进行模型推理时,我们使用的数据是在训练之前我们对数据进行处理的encoder_input_data中读取,而不是我们手动输入的,那么这一章主要来解决自定义输入推理的问题。模型部署也是很重要的一部分,这里先讲基于python的部署,后面我们还要将模型部署到移动端。会得到这样的两个文件:input_words.txt,target_words.txt。原创 2023-07-25 15:17:34 · 4819 阅读 · 0 评论 -
【如何训练一个中英翻译模型】LSTM机器翻译模型训练与保存(二)
基于LSTM训练一个翻译器,要怎么做呢?其实很简单,也没那么复杂。这里将解码器与编码器分别保存下来。原创 2023-07-25 14:42:46 · 5962 阅读 · 0 评论 -
【如何训练一个中英翻译模型】LSTM机器翻译seq2seq字符编码(一)
先假设,我们的训练数据只取第一行,那就是只有“Wait!对于中译英,我们希望让网络输入:“Wait!”,输入:“Hello!显然需要进行编码,大白话说就是用“0101…”这样的数据来表示这些文字(为了方便表达,后面称为字符)。那么问题来了,这样的数据要如何输入网络进行训练呢?原创 2023-07-25 10:22:06 · 5295 阅读 · 3 评论