学习目标:task2的学习目标主要是针对task1给出的baseline代码进行详细的解读,并引入一些现有的语言包来二次处理数据
库:
-
torchtext :是一个用于自然语言处理(NLP)任务的库,它提供了丰富的功能,包括数据预处理、词汇构建、序列化和批处理等,特别适合于文本分类、情感分析、机器翻译等任务
-
jieba
:是一个中文分词库,用于将中文文本切分成有意义的词语 -
sacrebleu:用于评估机器翻译质量的工具,主要通过计算BLEU(Bilingual Evaluation Understudy)得分来衡量生成文本与参考译文之间的相似度
-
spacy:是一个强大的自然语言处理库,支持70+语言的分词与训练
学习心得:
参加datawhile夏令营的NLP方向是一个极富启发性的经历。自然语言处理(NLP)作为人工智能领域的一个重要分支,它的魅力在于能够使机器理解、解释和生成人类语言。通过跑通baseline并对其详解,让我逐步地打开了NLP的大门,加深了我对NLP的认识,也激发了我对探索人工智能更深层次应用的热情。我期待将所学知识应用于未来的研究和工作中,为语言技术的发展贡献自己的力量。