Tensor2Tensor使用记录

最新推荐文章于 2024-07-23 22:03:39 发布

SUN_SU3

最新推荐文章于 2024-07-23 22:03:39 发布

阅读量845

点赞数

分类专栏： NLP 模型文章标签： tensor2tensor

本文链接：https://blog.csdn.net/u013546508/article/details/100582485

版权

本文详细记录了使用Tensor2Tensor库进行神经机器翻译（NMT）的全过程，包括编写问题定义脚本、数据生成、模型训练、解码预测、参数平均、模型导出以及BLEU分数的计算。特别地，提到了中文处理的注意事项和BLEU计算的特殊方法。

摘要由CSDN通过智能技术生成

NMT方向

1）编写自己的问题定义脚本
可参照 tensor2tensor/data_generators/translate_enzh.py脚本进行编写，主要是改一下训练数据和测试数据路径，定义词典大小和名称，也可以自定义词典什么的，这个根据需要更改
注意：

类前要加@registry.register_problem，把这个任务注册上，不然是找不到这个任务
类的名称和脚本命名要保持一致，类是驼峰命名，脚本时“_”连接

2）数据生成

t2t-datagen --t2t_usr_dir=./script --data_dir=./train_data/enzh/V1.0 --tmp_dir=./raw_data --problem=my_problem_translate_ruen（自定义的脚本）

中文如果不做分词，会处理很长时间

3）模型训练

t2t-trainer --t2t_usr_dir=./script --problem=my_problem_translate_enzh --data_dir=./train_data/V1.0 --model=transformer --hparams_set=transformer_base --output_dir=./check_point/V1.0 --train_steps=500000 --eval_steps=5000 --worker_gpu=1 --eval_early_stopping_steps=10 --keep_checkpoint_max=10