【机器翻译】【mRASP】跑通mRASP代码(二):train、finetune

源码训练时,使用inotifywait异步监控一边训练一边生成,见mRASP-master/train/misc/monitor.sh

生成的调用命令写在mRASP-master/train/scripts/common_scripts.sh

command=${gpu_cmd}"fairseq-generate ${test_path} \
    -s ${src} \
    -t ${tgt} \
    --skip-invalid-size-inputs-valid-test \
    --path ${ckpts} \
    --batch-size ${eval_batch_size} \
    --beam ${beam_size} \
    --nbest 1 \
    ${cpu_cmd} \
    --lenpen ${length_penalty} \
    --max-len-a ${max_len_a} \
    --max-len-b ${max_len_b} \
    --max-source-positions ${max_source_positions} \
    --max-target-positions ${max_target_positions} | grep -E '[S|H|P|T]-[0-9]+' > ${final_res_file}
    "

fairseq-generate没有指定task,将默认为translation,但实际上mRASP要求输入给解码器的第一个token应该是语言标签,不然就会无法控制生成什么目标语言

参考mRASP2给出的生成命令,mRASP2-master/eval.sh

command=${gpu_cmd}"fairseq-generate ${test_path} \
    --us
评论 14
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值