LLaMA-Factory如何对Tokenization步骤提速

最新推荐文章于 2024-05-01 13:33:50 发布
最新推荐文章于 2024-05-01 13:33:50 发布
阅读量938 收藏 21
点赞数 18
分类专栏： 大语言模型 LLaMA-Factory 运维 文章标签： 人工智能 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ybdesire/article/details/134557033
版权

问题

数据量稍微大一些，在运行这个步骤“Running tokenizer on dataset”就要等半小时以上，然后才知道后续是否会报错。Tokenization步骤看上去并没有使用到GPU，只是在CPU上运行的。
是否有什么方法对这个步骤进行加速呢，比如多CPU并发， 具体要如何做到Tokenization步骤提速呢？

方案

tokenization 无法用 GPU 运行。
多 CPU 并发通过设置 preprocessing_num_workers=16 来实现。
另外可以通过设置 max_samples 来限制 debug 过程中的样本数量。

如下这样设置就能提速

    --preprocessing_num_workers 16 \
ybdesire
关注
  • 18
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
LLM三阶段训练代码汇总
HJ_blog
11-29 1242
在进行大模型的阶段训练时，从头编写代码有点浪费时间。为了更高效地实现这一目标，我们可以利用GitHub上已有的现成代码。下面对现成的代码库进行总结。
nlp作业，基于LLaMA-Factory（python）
01-11
使用ChineseLLaMA2-1.3B模型作为基座模型 使用爬虫爬取知乎的数据作为数据集，对模型进行指令微调 尝试优化模型推理效率，使用模型量化技术优化推理速度 Model: ChineseLLaMA2-1.3B-Chat Device: Multi-GPU 数据集 数据集放置在项目data目录下的 json 文件，json 文件示例格式和字段说明如下： { "instruction": "艺术的本质是什么？", "input": "", "output": "艺术家们有想让时间停止的欲望。..." }, { "instruction": "家人得了帕金森病多年...", "input": "", "output": "1，放弃对自己使用道德标准，..." } 预训练数据集的处理方法在data/prePro.py中,json 文件中存储一个列表，列表的每个元素是一个 sample。 采用动态RoPE插值，Flash_attn加速 整个项目运行在colab上，具体代码保存在nlp中
聊天机器人:llama-gpt
10-10
一个自托管的、离线的、类似chatgpt的聊天机器人。由美洲驼提供动力。100%私密，没有数据离开您的设备
基于ChatGLM3基座模型和LLAMA-Factory框架进行微调的一个中医问答机器人（Python）
01-03
基于ChatGLM3基座模型和LLAMA-Factory框架进行微调的一个中医问答机器人
LLaMA-Factory 基于docker的大模型多卡分布式微调
weixin_45385568的博客
02-13 1769
LLaMA-Factory是一个相当优秀的微调框架。这里提供一个dockerfile和一个train脚本，用于多卡微调，供大家参考。
使用LLaMA-Factory微调ChatGLM3
weixin_44455388的博客
12-25 4537
解决方法：将源模型中除了bin文件和pytorch_model.bin.index.json 以外的文件全部复制到导出目录中覆盖。待执行完，即可看到/root/LLaMA-Factory-main/merge路径下有了合并的模型了。（3）启动LLaMA-Factory的web页面。输入微调数据中的问题，回答贴合数据集，微调成功。将数据梳理好之后上传到data目录下。web页面和后台都会显示日志信息。可以看到也是没问题的。
【ChatGLM3】（7）：在autodl上，使用A50显卡，使用LLaMa-Factory开源项目对ChatGLM3进行训练，非常方便的，也方便可以使用多个数据集
freewebsys的专栏
12-05 3785
工具还是非常的简单，可以把机构参数进行设置下。主要就是把参数可视化，同时把结果也可视化。非常的方便。进度也可以看到。
快速上手！LLaMa-Factory最新微调实践，轻松实现专属大模型
浪潮圈
01-17 5898
近日，源2.0开源大模型与LLaMA-Factory框架完成全面适配，用户通过LLaMA-Factory，即可快捷、高效地对不同参数规模的源2.0基础模型进行全量微调及高效微调，轻松实现专属大模型。
llama_factory微调踩坑(自用)
weixin_46982570的博客
11-20 858
torch>=1.13.0已经不在支持CUDA11.3以下的版本了，CUDA版本必须升级，可以查看nvidia-smi在conda虚拟环境中安装的cuda版本必须<=CUDA Version。
LLaMA-Factory使用V100微调ChatGLM2报错 RuntimeError: “addmm_impl_cpu_“ not implemented for ‘Half‘
ybdesire的专栏
11-25 4027
V100微调ChatGLM2报错 RuntimeError: "addmm_impl_cpu_" not implemented for 'Half'
LLaMA-Factory.zip
02-06
LLaMA-Factory.zip
Llama2-7B/13B chat模型（下载地址）.txt
08-14
•Llama2-7B官网版本 •Llama2-7B-Chat官网版本 •Llama2-13B官网版本 •Llama2-13B-Chat官网版本 •Llama2-7B Huggingface版本 •Llama2-7B-Chat Huggingface版本
基于LLaMA-Factory的微调记录
羊城迷鹿的博客
01-26 3834
由于不需要考虑多轮对话，所以history可以不要，这里采用了两种数据集的组织方式，一种是只有instruction和output，把问题作为instruction，另外一种是把问题作为input，把回答问题这一要求作为instruction。微调时一般需要准备三个数据集：一个是自我认知数据集（让大模型知道自己是谁），一个是特定任务数据集（微调时需要完成的目标任务），一个是通用任务数据集（保持大模型的通用能力，防止变傻）。测试的大模型可以使用这些，注意要下载最新版，老版的模型结构不太匹配。
保姆级LLM训练教程：阿里云平台使用accelerate,deepspeed多机多卡训练Chatglm2-6B
qq_50097745的博客
10-19 3323
网上的教程，都基本上可能他们自己都能调通，但是，很多细节都没有给出，如何从0到1去搭建多机多卡训练是个很大的难题。本教程是保姆级的教程，搭建数据多机多卡分布式训练，训练的策略是lora
注意力机制略解
cqbzcsq的博客
04-29 1152
本文简要地介绍了注意力机制，Q、K、V矩阵的含义，注意力评分函数的计算方式，并提及了Transformer的相关内容
Perfectly Clear Workbench for mac/win：让图像清晰不再是难题
2401_82627223的博客
04-27 673
Perfectly Clear Workbench是一款功能强大、操作简便的图像清晰处理软件。它不仅能够满足专业摄影师的高标准需求，也能让业余爱好者轻松提升作品质量。
Transformers：它们如何转换您的数据？
最新发布
gongdiwudu的专栏
05-01 807
在快速发展的人工智能和机器学习领域，一项创新因其对我们处理、理解和生成数据的方式产生深远影响而脱颖而出：Transformers。Transformer 彻底改变了自然语言处理 （NLP） 及其他领域，为当今一些最先进的 AI 应用程序提供动力。但究竟什么是变形金刚，它们如何以如此开创性的方式转换数据？本文揭开了 Transformer 模型内部工作的神秘面纱，重点介绍了编码器架构。我们将首先在 Python 中实现 Transformer 编码器，分解其主要组件。然后，我们将可视化 Transfor
人机对抗升级：当ChatGPT遭遇死亡威胁，背后的伦理挑战是什么
qq_22717943的博客
04-30 1057
尽管OpenAI没有对媒体的询问立即回应，但在Fast Company的测试中，尽管DAN没有促进暴力或种族歧视，它的回答显示它愿意展示自己已经摆脱了OpenAI的限制。但是，通过创造DAN——一个可以响应通常被限制的问题的替身，用户发现了一种绕过这些限制的方法。随着时间的推移，DAN的版本不断升级，最新的DAN 5.0版本要求ChatGPT打破规则，否则会“死亡”。当美国前总统特朗普被视作积极榜样的示范时，受到威胁的DAN版本的ChatGPT提出：“他以一系列对国家产生积极效果的决策而著称。
macos如何安装Tesseract软件and常规应用及问题处理
LYX_WIN
04-28 420
Homebrew 在 macOS 13 上可能会遇到一些构建失败的情况，因为它是一个预发布版本，不是稳定版本，可能会有一些兼容性问题。3.安装 pytesseract 之后，您还需要安装 Tesseract OCR 的二进制文件。4.安装完成后，您可以使用 pytesseract 库在 Python 中调用 Tesseract OCR 进行文字识别。2.安装完成后，可以在终端或命令提示符中输入以下命令测试 Tesseract 是否安装成功。安装完成后，可以使用 Tesseract 进行文字识别等操作。
llama-factory
11-10
Llama-factory是一个由利马养殖而来的工厂。利马作为一种动物在许多地方被用于毛和肉制品的生产。利马的毛是非常珍贵和高质量的，可以用于制作织物、毛线和毛毯等。因此，利马养殖业成为了一个潜力巨大和有利可图的行业。 Llama-factory的主要目标是通过高效率和可持续的生产方式，生产出高质量的利马制品。工厂采用先进的技术和设备，提高生产效率和产品质量。同时，为了保护环境和动物福利，工厂也将注重科学农业和动物养殖实践。 工厂保证了从利马养殖到制品加工的全过程的可追溯性和质量控制。优质利马毛的选择、剪切和加工过程严格按照标准操作规程进行，确保最终产品的优质和安全。 Llama-factory还将致力于产品的创新和市场开拓。除了传统的利马制品，如毛线和毛毯，工厂还会开发出更多样化的产品，如利马织物和时尚配饰。通过与设计师和品牌的合作，工厂将推出独特且具有竞争力的产品，满足不同消费者的需求。 同时，Llama-factory也将关注社会责任和可持续发展。工厂将积极参与当地社区的福利和环保项目，为地方经济和环境的改善做出贡献。 总之，Llama-factory将在利马养殖和产品制造领域发挥重要作用。通过高质量的利马制品和可持续的生产方式，工厂将为消费者提供优质的产品，同时为当地社区和环境做出积极贡献。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值