Datawhale AI 夏令营 task2笔记（第二期）

青冥340

已于 2024-07-30 16:59:43 修改

阅读量251

点赞数 8

文章标签：人工智能笔记

于 2024-07-17 17:41:25 首次发布

本文链接：https://blog.csdn.net/2402_84594054/article/details/140493829

版权

1.配置环境

环境配置相较于task1采用了以下几个包

htorchtext ：是一个用于自然语言处理（NLP）任务的库，它提供了丰富的功能，包括数据预处理、词汇构建、序列化和批处理等，特别适合于文本分类、情感分析、机器翻译等任务
jieba：是一个中文分词库，用于将中文文本切分成有意义的词语
sacrebleu：用于评估机器翻译质量的工具，主要通过计算BLEU（Bilingual Evaluation Understudy）得分来衡量生成文本与参考译文之间的相似度
spacy：是一个强大的自然语言处理库，支持70+语言的分词与训练

使用下面代码下载spacy和语言包，

pip install -U pip setuptools wheel
pip install -U 'spacy[cuda12x,transformers,lookups]'
python -m spacy download en_core_web_trf

在下载spacy过程中会弹出两个error,但是并不影响下载和使用，直接忽略；

在安装语言包时，如果采用离线下载，在输入时只输入两句，如果输入了最后一句再把本地语言包上传到平台进行离线安装则会报错无法安装；

2.运行代码

我使用新的是新的task2代码，第一次启动时，由于常量定义中N即采样训练集的数量刚开始是14万多，平台会弹出内存不足，将N改小至10000就可以运行；

但是每次跑出来的结果集只有31条结果。

经过检查发下是batch_size=32在影响，当这个值取50时，最后输出的结果就只有20条，当我改成1后成功输出了1000条

关注