cjs8348797的博客

文章用于记录一下本人对于较大数据集加载的问题的一些解决办法和思考。（比较口水话）我之前训练某个特定任务，习惯于把数据提前预处理为dataset保存起来【参见这里】，然后每次训练的时候直接加载这个文件。我这样做的目的是，方便调代码，使用很小量的数据先把代码调通，当出现一些小问题时不至于数据处理很久。但是最近在使用自己的一些语料微调一个语言模型, 语料纯文本大小大概在8G左右，使用预处理脚本CPU满速处理后使用torch.save()保存成二进制文件，大概也8G左右。这个时候问题来了，我使用了8张卡跑代码

本文记录一下unilm与对偶学习的一些碰撞火花。【业务情景】：需要使用unilm来进行对偶学习。比如我们有A模型，B模型，需要同时训练这两个，他们的输入和输出是互补的。A的输出可以作为B的输入，B的输出可以作为A的输入。【unilm说明】：仓库,论文，unilm的训练和推断阶段不太一致，包括模型结构和数据在模型里的处理。仓库提供的代码是分了两个阶段：训练+推断，即不同阶段使用不同的模型结构。...

【本文是作者给自己实验室同学写的一个guide，分享给有需要的同学】安装教程网页：官方安装教程警告: apt源不对的话可能会导致安装失败1.卸载旧版本：sudo apt-get remove docker docker-engine docker.io containerd runc2.添加仓库源：sudo apt-get updatesudo apt-get install ...

预处理数据的时候使用多进程可以大大减少程序运行时间。上代码with Pool(15)as proc: results = list( tqdm( proc.imap(convert_one,files, ), total=len(files) ))results ...

transformers库的BertTokenizer新增token在与vocab.txt同级的地方新建added_tokens.json,写入以下内容：{ "[X_SEP]":12345, "[SEN_SEP]":1}key值是token，value值为该token对应的id。如上所示，tokenizer.encode('[X_SEP][SEN_SEP]'), 得到的结果是[12...