Datawhale AI 夏令营task2的纯小白
第一天的时候,感觉一键跑出来,wwwwww,真的爽,当然很明显的是当真正开始一步一步读代码的时候,才会发现严谨度和复杂度。
配置环境
因为比较粗心,没有及时打开这个文件,我手动配了一下环境(最好杜绝这种情况)
还是在这个魔搭平台上进行。
虽然是按代码一行一行手动搭建,但是在这过程中还是暴露出一些学习上的不足,比如,对Linux的命令依然十分的陌生,我个人是在自学Linux,但是很明显就是一个学艺不精的状态,还是需要足够的练习。同时感谢前辈的耐心指导。
数据预处理
主要包括以下几个方面:
1.清洗和规范化数据:去除无关信息(如拟声词),统一格式,分句和分段
2.分词:将句子分解成单词或词素
3.构建词汇表和词向量:构建词汇表,并为每个词分配一个唯一的索引。
4.序列截断和填充:限制输入序列的长度,补全不够长的序列至统一
5.添加特殊标记:在序列两端添加(Sequence Start)和(Sequence End)标记起始和结束。
6.数据增强:随机替换或删除词:在训练数据中随机替换或删除一些词,增强模型的鲁棒性,同义词替换:使用同义词替换原文中的词,增加训练数据的多样性。
7.数据分割:赛题中已预设
训练模型
之前一直不了解特征向量,这个一说感觉理解很多
解码器和编码器概念的引入让机器翻译的原理感觉更进一步。
再细致就不懂辣
翻译质量评价
这图片给的,这块感觉都不需要我总结了哎哎
总结
task2还是主要介绍给我们机器翻译的操作的步骤,把这个整体框架展现在我们眼前,想必之后的操作会更加难(哭)。