训练
文章平均质量分 92
开发环境
自学AI的鲨鱼儿
一个小白学习AI的个人笔记
有朋友发现错误谢谢指出
展开
-
个人笔记目录
Huggingface trainer 与 from_pretrained简单介绍(笔记)_trainer.place_model_on_device-CSDN博客总的来说,这个函数负责完成训练前的所有准备工作,包括加载检查点、设置超参数搜索、配置训练环境等,最终调用内部训练循环执行实际的训练过程。它提供了一些可配置选项,如从检查点恢复训练、超参数搜索和忽略评估时的某些键等,以满足不同的训练需求。类的主要训练入口点。原创 2024-04-14 20:18:52 · 1171 阅读 · 0 评论 -
flash attention 参数(笔记)
flash官方。原创 2024-04-28 20:07:53 · 738 阅读 · 0 评论 -
Trl SFT: llama2-7b-hf使用QLora 4bit量化后ds zero3加上flash atten v2单机多卡训练(笔记)
第三 参考官方命令: https://github.com/Dao-AILab/flash-attention。第一 确保 linux "外界"的 cuda版本 与 conda 虚拟环境中cuda版本一致。第二 安装好 c++ g++ ninja。原创 2024-04-12 13:46:22 · 825 阅读 · 0 评论 -
全量微调Llama2-7b遇到的错误(stanford_alpaca)
模型:Llama-2-7b-chat-hf。openai的版本不对,更换版本。原创 2024-03-24 23:24:32 · 775 阅读 · 0 评论 -
微调alpaca-lora遇到的一些问题
环境:系统:Ubuntupeft:0.9.0。原创 2024-03-21 22:07:47 · 377 阅读 · 0 评论 -
Huggingface trainer、model.from_pretrained、tokenizer()简单介绍(笔记)
总的来说,这个函数负责完成训练前的所有准备工作,包括加载检查点、设置超参数搜索、配置训练环境等,最终调用内部训练循环执行实际的训练过程。它提供了一些可配置选项,如从检查点恢复训练、超参数搜索和忽略评估时的某些键等,以满足不同的训练需求。类的主要训练入口点。它负责设置训练环境、加载模型检查点、配置超参数搜索、寻找可执行的批次大小,并最终执行内部训练循环。函数是 Hugging Face Transformers 库中。原创 2024-03-31 22:25:20 · 748 阅读 · 1 评论 -
vscode调试launch.json常用格式
命令行deepspeed 进行执行,构建launch.json 思路。进行执行,构建launch.json 思路。与调试单个文件同理,只是重复。原创 2024-03-22 15:24:06 · 553 阅读 · 0 评论 -
huggingface generate函数简介
函数的一些重要参数,它们控制了生成过程的各个方面,如起始输入、序列长度、解码策略、采样行为等。根据具体任务和需求,适当调整这些参数可以获得更好的生成效果。函数是用于生成文本序列的核心函数。它通常应用于自然语言生成任务,如机器翻译、文本摘要、对话系统等。其他参数可以使用默认值,除非你有特殊的需求。合理设置这些参数对于获得良好的生成效果非常重要。在 Hugging Face Transformers 库中,通常,你只需要根据任务需求设置。和生成策略相关参数(原创 2024-03-18 12:08:42 · 1093 阅读 · 0 评论