Datawhile2024年夏令营-NLP-task2笔记心得

学习目标：在跑通Baseline和理解赛题的基础上对Baceline做具体解析并从中学会Seq2seq、循环神经网络等。

1.安装额外的库：

• torchtext ：是一个用于自然语言处理（NLP）任务的库，它提供了丰富的功能，包括数据预处理、词汇构建、序列化和批处理等，特别适合于文本分类、情感分析、机器翻译等任务

• jieba：是一个中文分词库，用于将中文文本切分成有意义的词语

• sacrebleu：用于评估机器翻译质量的工具，主要通过计算BLEU（Bilingual Evaluation Understudy）得分来衡量生成文本与参考译文之间的相似度

• spacy：是一个强大的自然语言处理库，支持70+语言的分词与训练

2.进行数据预处理：

• 清洗和规范化数据：（1）在开始前去除数据中的无关信息：删除HTML标签、特殊字符、非文本内容等。（2）统一格式：转换所有文本为小写，确保一致性，减少AI识别的障碍。

• 词汇表构建：尽可能收集数据库中出现的词汇，构建词汇表。

• 数据增强：对于同一中文或英文加入多个同义词。

3.运行程序：通过运行所给的task2的到成果。

学习心得：作为人工智能领域的一个重要分支，NLP将会人类起到越来越重要的作用。我期待为语言技术的发展贡献自己的力，为AI领域的发展贡献自己的一份力量。