学习目标:在跑通Baseline和理解赛题的基础上对Baceline做具体解析并从中学会Seq2seq、循环神经网络等。
1.安装额外的库:
-
torchtext :是一个用于自然语言处理(NLP)任务的库,它提供了丰富的功能,包括数据预处理、词汇构建、序列化和批处理等,特别适合于文本分类、情感分析、机器翻译等任务
-
jieba
:是一个中文分词库,用于将中文文本切分成有意义的词语 -
sacrebleu:用于评估机器翻译质量的工具,主要通过计算BLEU(Bilingual Evaluation Understudy)得分来衡量生成文本与参考译文之间的相似度
-
spacy:是一个强大的自然语言处理库,支持70+语言的分词与训练
2.进行数据预处理:
-
清洗和规范化数据:(1)在开始前去除数据中的无关信息:删除HTML标签、特殊字符、非文本内容等。(2)统一格式:转换所有文本为小写,确保一致性,减少AI识别的障碍。
-
词汇表构建:尽可能收集数据库中出现的词汇,构建词汇表。
-
数据增强:对于同一中文或英文加入多个同义词。
3.运行程序:通过运行所给的task2的到成果。
学习心得:作为人工智能领域的一个重要分支,NLP将会人类起到越来越重要的作用。我期待为语言技术的发展贡献自己的力,为AI领域的发展贡献自己的一份力量。