Unsloth微调环境搭建与LLaMA 3.1-8B模型微调实践指南

于 2024-09-06 10:59:55 发布
阅读量517 收藏 4
点赞数 9
文章标签： llama transformer 深度学习 人工智能 ai大模型 embedding 大模型微调
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xxue345678/article/details/141953844
版权

本文将详细介绍如何使用Unsloth框架进行LLaMA 3.1-8B模型的微调，帮助您快速构建微调环境，并了解微调流程的基本步骤。本教程适合初学者，旨在帮助您在短时间内实现自己的专属模型微调。对于更复杂的微调参数和细节设置，将在后续文章中进一步阐述。

文将涵盖以下内容：

1. Unsloth环境搭建： 指导您从零开始搭建Unsloth微调环境。

2. 微调第一个LLaMA模型： 一步步教您如何通过Unsloth框架对LLaMA 3.1-8B进行微调，涵盖关键配置。

Unsloth环境搭建

最初，我在Windows 11环境下安装并运行了Unsloth，虽然安装过程顺利，但在模型微调过程中遇到了各种错误。尽管大部分问题都通过逐一解决了，但一些关键的GPU加速库仍然无法正常运行。这些库要求在Linux系统上才能正常运行并充分发挥其性能。

由于对Linux系统不够熟悉，我尝试通过编译工具在Windows上重新编译这些库，但问题依然未能解决。最终，我选择通过Windows上的WSL（Windows Subsystem for Linux）安装Ubuntu的方式来解决这些兼容性问题。这样既避免了完全切换到Linux的麻烦，又能够使用Linux环境来进行模型微调。

第一步：在WINDOWS上通过WSL安装UBUNTU

如果您使用的是Linux操作系统（建议使用Ubuntu），可以跳过这一部分的内容，直接进入后续步骤。同时，确保您在Linux系统上安装了显卡驱动，以便正常使用GPU进行加速。

如果您在Windows上通过WSL安装Ubuntu，由于WSL是一种虚拟化技术，您无需在WSL的Ubuntu系统中再次安装显卡驱动。只要Windows宿主机上已经正确安装并配置了显卡驱动，WSL内的Ubuntu系统将自动使用这些驱动配置，支持GPU加速。

windows11系统下，进入命令行工具，执行如下指令，即可快速安装完Ubuntu：

wsl -install

从windows中进入Ubuntu系统，同样需要打开命令行，执行如下指令：

wsl -d ubuntu

初次登录，会要求输入一个新的用户名、密码：

图片

后续登录系统，会直接进入，而不必每次都输入用户名和密码：

在这里插入图片描述

第二步：升级系统相关组件

安装完ubuntu系统后，需要对相关的组件进行升级：

在这里插入图片描述

第三步：安装Anaconda

建议安装Anaconda，安装相关的python包会非常方便，同时也便于对python环境进行管理。​​​​​​​

在这里插入图片描述

建议的安装目录：

/home/userName/anaconda3

安装完成之后需要手动将其加入到环境变量中。需要在~/.bashrc的文件尾部增加如下内容：

export PATH="/home/wangjye/anaconda3/bin:$PATH"

第四步：安装CUDA

这是最容易出错的过程，如果已经安装完驱动了，则需要在WINDOWS宿主机上运行命令 nvidia-smi 来查看硬件支持的CUDA版本，不论是WINDOWS还是LINUX一定要注意查看，不能安装错了。

图片

最大的坑是选择了不被支持的CUDA版本（如CUDA 12.6），导致PyTorch及TensorFlow都无法兼容4090显卡。因此选择低于12.6版本的CUDA。在这里我安装的是稳定版本的12.1。​​​​​​​

在这里插入图片描述

安装过程会中断N次，提示少这样那样的文件，少什么文件按提示装什么。

然后再次安装CUDA，直接安装完成。

安装完成之后，如果运行nvcc --version查看是否安装成功，这里提示找不到指令。主要原因是因为CUDA的安装路径没有写入环境变量中，需要对~/.bashrc文件进行编辑，以下内容视不同操作系统的安装路径而不同：​​​​​​​
在这里插入图片描述

再次运行nvcc --version时，提示的结果如下，代表安装完成 ：

图片

第五步：安装pytorch

执行如下指令，完成python环境创建、安装python、安装pytorch对应的nvidia版本：​​​​​​​

在这里插入图片描述

安装完成之后，还要验证一下安装的pytorch版本能否正常识别本机上安装的GPU，执行如下代码即可：​​​​​​​

在这里插入图片描述

返回结果如下：

2.4.0

True

1

NVIDIA GeForce RTX 4090

代表已经正确安装，并能够检测到GPU。

第六步：安装Unsloth

官方文档安装方法如下：

pip install "unsloth[cu121-torch240] @ git+https://github.com/unslothai/unsloth.git"

通过如上指令安装会有时候会提示网络错误，实际上通过浏览器我是可以正常访问github.com的。

因此，改为手动安装的方法，登录http://github.com/unslothai/unsloth，手动下载zip压缩包，如下图所示：

图片

解压缩，并进入unsloth的解压缩目录，执行如下指令：

pip install ".[cu121-torch240]"

安装成功，这里当时未截屏。至此，我们可以尝试进行模型训练，以验证unsloth是否能够正常工作。

微调第一个LLaMA模型

模型的微调一共包括如下5个大的步骤：

  • 下载待微调的模型

  • 模型加载

  • 数据处理

  • 模型参数配置

  • 模型训练

  • 模型推理测试

第一步：下载待微调的模型

这是非常重要的一步，登录unsloth官方网站可以直接复制使用，如果对llama3.1进行微调，还要在huggingface上申请该模型的使用权，申请需要至少几个小时才会回复，我申请失败，如下图所示：

图片

因此，直接从huggingface上的模型文件下载到本地文件系统并进行加载的，注意以下模型相关的文件，都要手动下载下来，刚开始只下载了.safetensors模型文件，结果报了一大堆错误，他需要从config.json还有tokenizer.json中读取很多配置，所以全部都下载下来了。

图片

现在，待微调的模型已经下载完成。

注意： 如果你已经通过了 Hugging Face 的审核，下载步骤可以省略。你可以直接通过 Hugging Face 的接口下载相应的模型文件。下载完成后，模型会被缓存到本地文件系统，下次微调时无需重复下载。此外，获得模型使用权后，你还需要从 Hugging Face 获取一个 API Key，并将该模型与 API Key 关联。

不过，手动下载模型相对简单，建议直接下载以简化流程。

第二步，模型加载

通过vscode或pycharm之类的IDE新建一个jupyter文件（方便调试，调试过程中会提示你缺少这样那样的库，需要安装），复制以下代码：​​​​​​​

在这里插入图片描述在这里插入图片描述

注意如下代码：

model_path ="/mnt/d/02-LLM/LLM-APP/00-models/unsloth-llama-3.1-8b-bnb-4bit"

由于代码是在wsl中的ubuntu系统内运行，因此这里不能使用windows本地的文件路径，要改为ubuntu mnt之后的文件路径。

还有要注释掉token行，因为我们没有通过hugging face网站加载模型。

至此，模型已经加载完成，会有如下图所示的提示：

图片

第三步，数据处理

一般在进行微调时，大模型都有自己的接入数据的格式 ，因此，需要对数据进行格式转换，如下为原始的数据格式，是标准的json文档 ：​​​​​​​

在这里插入图片描述

而模型需要的训练数据模式如下：​​​​​​​

[
  {"text":"Instruction: 请把现代汉语翻译成古文\nInput: 世界及其所产生的一切现象，都是来源于物质。\nOutput: 天地与其所产焉，物也。"}，
  {"text":"Instruction: 请把现代汉语翻译成古文\nInput: 世界及其所产生的一切现象，都是来源于物质。\nOutput: 天地与其所产焉，物也。"}
]

因此，需要 对其进行格式转换，数据处理代码如下：​​​​​​​

在这里插入图片描述
在这里插入图片描述

运行结果如下：​​​​​​​

载入本地数据:start...
处理后的训练数据集大小: 457124

第四步，模型参数配置

这是非常重要的一步，需要配置各种参数，如max_steps、per_device_train_batch_size、r、lora_alpha等，在这里不进行详细说明，后续会有单独的文章内容进行详细介绍，代码如下：​​​​​​​

from trl import SFTTrainer
from transformers import TrainingArguments
from unsloth import is_bfloat16_supported 

model = FastLanguageModel.get_peft_model(  
    model,   
    r = 16, # Choose any number > 0 ! Suggested 8, 16, 32, 64, 128   
    target_modules = ["q_proj", "k_proj", "v_proj", "o_proj",   
                      "gate_proj", "up_proj", "down_proj",],  
    lora_alpha = 32,   
    lora_dropout = 0, # Supports any, but = 0 is optimized   
    bias = "none",    # Supports any, but = "none" is optimized   
    # [NEW] "unsloth" uses 30% less VRAM, fits 2x larger batch sizes!    use_gradient_checkpointing = "unsloth", # True or "unsloth" for very long context   
    random_state = 3407,   
    use_rslora = False,  # We support rank stabilized LoRA  
    loftq_config = None, # And LoftQ
)
trainer = SFTTrainer( 
    model = model,   
    tokenizer = tokenizer,   
    train_dataset = train_dataset,   
    dataset_text_field = "text",  
    max_seq_length = max_seq_length,  
    dataset_num_proc = 2,   
    packing = False, # Can make training 5x faster for short sequences.   
    args = TrainingArguments(   
        per_device_train_batch_size = 4,  
        gradient_accumulation_steps = 8,   
        warmup_steps = 500,  
        # num_train_epochs = 1, # Set this for 1 full training run.   
        max_steps = 3000,   
        learning_rate = 3e-5,  
        fp16 = not is_bfloat16_supported(),  
        bf16 = is_bfloat16_supported(), 
        logging_steps = 100,   
        optim = "adamw_8bit",  
        weight_decay = 0.01,   
        lr_scheduler_type = "linear",  
        seed = 3407,  
        output_dir = "outputs",  
    ),
)

第五步，模型训练

只有一行代码如下：​​​​​​​

# 5. 训练
trainer_stats = trainer.train()

下图为运行的第一步执行过程，以及运行完成之后的耗时统计。

图片

第六步，推理测试

模型微调完成之后，我们需要对模型进行推理测试，如下代码是构建了一个提示词模板，将system prompt指令以及用户输入的指令和古文内容，可以通过该提示词模板进行格式化处理，然后提供给微调后的模型进行推理使用：​​​​​​​​​​​​​​

alpaca_prompt = """你的任务是将给定的现代汉语文本转换为符合古文。请注意保持原文的核心思想和情感，同时运用适当的古文词汇、语法结构和修辞手法，使转换后的文本读起来如同古代文人的笔触一般。
翻译要求：避免句子重复，确保语言通顺，符合古文表达习惯。
例如：将“以正确的概念来校正不正确的概念，又以不正确的概念的失误之处，反过来探究正确的概念之所以正确的所在。”翻译为“以其所正，正其所不正；以其所不正，疑其所正。”，确保语言通顺，符合古文表达习惯。
### Instruction:
{} 
### Input:
{}  
### output:
{}"""`

执行推理的代码如下：​​​​​​​

FastLanguageModel.for_inference(model) # Enable native 2x faster inference
inputs = tokenizer(
[  
    alpaca_prompt.format(   
        "请把现代汉语翻译成古文", # instruction   
        "这个管道昇在同时代人里也是极具个性和才华的。这时，赵孟頫在京城获得赏识，不再是那个只在吴兴有薄名，却不能靠书画养活自己，不得不去教私塾的教书先生。", # input   
        "", # output - leave this blank for generation!  
    )
], return_tensors = "pt").to("cuda")  

# Generate the output
outputs = model.generate(**inputs, max_new_tokens=64, use_cache=True)

# Decode the output
decoded_output = tokenizer.batch_decode(outputs, skip_special_tokens=True)
#print(decoded_output)
# 提取输出结果中原有的input文本
# 假设输出格式是一致的，古文在"### output:\n"后面
# print(decoded_output[0])
original_text = decoded_output[0].split("### Input:\n")[1].split("### output:\n")[0].strip()
# Extract the translated ancient Chinese text
# Assuming the output format is consistent and the ancient text starts after "### output:\n"
translated_text = decoded_output[0].split("### output:\n")[1].strip()
print("原始的现代汉语：" + original_text)
print("翻译后的古文：" + translated_text)

执行的结果如下：​​​​​​​

原始的现代汉语：这个管道昇在同时代人里也是极具个性和才华的。这时，赵孟頫在京城获得赏识，不再是那个只在吴兴有薄名，却不能靠书画养活自己，不得不去教私塾的教书先生。
翻译后的古文：管仲之才亦异于当世，时赵孟頫在京得赏识，乃非吴兴薄名，不能自养，负笈私门者也。

是翻译为古文了，但是将管道昇翻译为“管仲”了！！！先不管了，后续再对微调的过程进行参数优化。

总结

本文详细介绍了如何使用Unsloth框架在WSL环境下对LLaMA 3.1-8B模型进行微调的全过程。通过从环境搭建、微调过程等，读者可以一步步了解如何高效微调自己的专属模型，并通过实例演示了微调后模型的推理效果。本教程特别适合初学者，帮助他们快速掌握Unsloth框架的应用。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
雪碧没气阿
关注
  • 9
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
开源模型应用落地-Meta-Llama-3.1-8B-Instruct与vllm-单机多卡-RTX 4090双卡（十四）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-09 1万+
4090单机双卡部署vllm，并集成meta-llama-3.1-8b-instruct
【LLM微调】Llama3.1-8B模型中文版！OpenBuddy发布新一代跨语言模型
2301_81940605的博客
08-01 1184
Meta发布了新一代开源模型系列：Llama3.1。其中405B参数的版本刷新了开源模型性能的上限，在多种指标上的测试成绩接近GPT-4等闭源模型的水平，甚至在部分基准测试中展现出来了超越头部闭源模型的潜力。
llama3.1-8B-微调
m0_57057282的博客
07-26 720
库中用于特定任务（例如微调）的训练类。代码配置了训练参数、数据集和模型，并为训练过程定义了一些关键设置。3）应用LoRA技术来减少模型训练和推理时的内存使用，同时保持模型性能。进行模型推理，生成一个给定指令的响应。9）推送模型到hugging-face。4）加载一个数据集，并规范格式。实例，用于训练一个语言模型。使用unslothai微调。10)加在本地模型进行推理。
【大模型】基于Unsloth微调Llama-3.1 8b代码详解
酒酿小圆子呀～
08-06 434
Unsloth是一个开源的大模型训练加速项目，使用OpenAI的Triton对模型的计算过程进行重写，大幅提升模型的训练速度，降低训练中的显存占用。
不会大模型不要紧！只需5分钟！你也可以微调大模型！如何快速微调Llama3.1-8B
lhx17673139267的博客
07-31 869
AI浪潮席卷全球并发展至今已有近2年的时间了，大模型技术作为AI发展的底座和基石，更是作为AI从业者必须掌握的技能。但是作为，相信大家也有一颗想要训练或微调一个大模型的心，但是苦于技术门槛太高，无从下手。今天教大家一个非常快速的方法，5分钟就可以让你快速上手去微调一个大模型。还不赶紧去试试！什么是模型微调？大模型微调(Fine-tuning)是指在已经预训练好的大型深度学习模型基础上，使用新的、特定任务相关的数据集对模型进行进一步训练的过程。这里我们用的微调方式选择的是Lora。
【Llama3.1-8B-Instruct】Llama Factory 等部署实战
weixin_52103117的博客
08-20 1030
Meta Llama 3.1 系列是一个多语言大型语言模型 (LLM) 集合，包括 8B、70B 和 405B 三种尺寸（文本输入/文本输出）。Llama 3.1 的指令调优版本（8B、70B、405B）针对多语言对话用例进行了优化，并在常见的行业基准测试中超越了许多现有的开源和闭源聊天模型。Llama 3.1 支持多种语言，包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。它在多语言任务中表现出色，并具有增强的推理、数学和代码执行能力。
部署和体验llama3.1:8B中文微调版本
szw的博客
08-14 1568
llama-3-1 meta于2024-07-23发布文档gitCloudflare提供了免费访问的入口如下，Llama 3.1模型在中文支持方面仍有较大提升空间在Hugging Face上已经可以找到经过微调、支持中文的Llama 3.1版本。
6小时完成Llama 3.1-8B适配并开源！MindSpore Transformers大模型套件使能开发者创新
Kenji_Shinji的博客
07-26 585
大模型开发套件MindSpore Transformers基于MindSpore内置的并行技术和组件化设计,构建了大模型训练、微调、评估、推理、部署的全流程开发套件，支持业内主流的Transformer类预训练模型和SOTA下游任务应用，可以帮助用户轻松的实现大模型训练和创新研发。推理部署上，代码拉取、权重下载、权重转换步骤与微调一致，实现权重一键转换，推理结果显示，基于MindSpore Transformers适配的Llama 3.1模型精度与原生模型精度对齐。，即可得到Llama 3.1。
Llama3-8B-Instruct + LLaMA-Factory 微调
CSU_lzp的博客
07-21 1247
南大NLP 情绪激发课题组 week 01
【大模型部署及其应用 】Ollama搭建运行中文大语音模型Llama3-8B-Chinese-Chat
源代码杀手的博客
08-17 188
Ollama 是一种用于运行大语言模型（如 LLaMA）的平台，适合本地化部署和运行。以下是如何在 Ollama 上搭建和运行中文大语言模型 Llama3-8B-Chinese-Chat 的步骤：下载地址：https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit项目地址：https://github.com/ymcui/Chinese-LLaMA-Alpaca-3?
突破Colab束缚：轻松在服务器上用Unsloth微调Llama 3.1大模型！
帅小柏的博客
08-26 298
目的：该代码的主要目的是对一个大型语言模型进行微调，使其能够生成特定类型的文本（唐诗）。微调是深度学习中一种常见的方法，通过在特定任务上重新训练预训练模型，以提高模型在该任务上的表现。流程配置模型：设置模型参数和加载预训练模型。数据准备：加载和格式化数据集，以便模型能够接受输入。训练：通过设置训练参数并调用训练函数，进行模型微调。保存模型：训练完成后，保存微调后的模型和标记器，以便后续使用。技术要点使用 GPU：代码中使用了cuda，表明旨在利用GPU加速训练。4位量化。
如何使用Python和Hugging Face在本地运行Llama-3.1
hongfu951的专栏
08-01 1064
最新的Llama（大型语言模型 Meta AI）3.1是由Meta AI开发的强大AI模型，在自然语言处理（NLP）社区中引起了广泛关注。它是迄今为止最强大的开源LLM。在这篇博客中，我将指导你如何从Hugging Face克隆Llama 3.1模型并在本地机器上使用Python运行它。之后，你可以将它集成到任何AI项目中。
LLM - 使用 HuggingFace + Ollama 部署最新大模型 (GGUF 格式 与 Llama 3.1)
Mystra
08-08 1753
Ollama 是用于构建和运行大型语言模型(LLM)应用的开源工具，提供了一个简洁易用的命令行界面和服务器，让用户能够轻松下载、运行和管理各种开源 LLM，默认支持大量模型，如果是 HuggingFace 最新模型，或者自制模型，支持转换成 GGUF 格式，再进行调用。
大模型训练框架LLaMAFactory覆盖预训练指令微调强化学习评估全流程
最新发布
python12345678_的博客
09-05 726
数据集的格式要求在不同的阶段是不同的，本教程以sft阶段的数据集需求，将以系统自带的identity数据集和将自定义的一个商品文案生成数据集为例，介绍数据集的使用。更多详情可以在。
使用LLaMA-Factory快速训练自己的专用大模型
互联网架构小马的博客
09-03 658
本文聊聊 LLama-Factory，它是一个开源框架，这里头可以找到一系列预制的组件和模板，让你不用从零开始，就能训练出自己的语言模型（微调）。不管是聊天机器人，还是文章生成器，甚至是问答系统，都能搞定。而且，LLama-Factory 还支持多种框架和数据集，这意味着你可以根据项目需求灵活选择，把精力集中在真正重要的事情上——创造价值。使用LLama-Factory，常见的就是训练LoRA模型，增强模型在某方面的生成能力。
【LLM模型微调】LLMs-微调经验-LLaMA微调指南v7.0
python123456_的博客
09-02 1336
高质量的关键原则包括一致的标注、无错误、无错误标记的数据、无噪声的输入/输出，以及与总体人群相比具有代表性的分布。在微调更通用的下游任务时，例如多语言适应，使用多样化的数据集已被证明可以改善在学习新能力和遗忘原模型能力之间的权衡。SQLCoder2通过去除生成的SQL中的空格，让模型专注于学习重要的SQL概念，而不是如空格和缩进之类的技巧。通常的共识是，当LLM的基础性能不够强时，可能“从RAG开始，评估其性能，如果发现效果不佳，再转向微调”，或者认为“RAG可能在某些方面优于微调”（来源）。
Llama中的曼巴：通过推测解码加速推理
AI人工智能学家的博客
09-02 1029
大型语言模型（LLMs）虽然在自然语言处理领域取得了革命性突破，但在面对长序列处理时依然存在显著的计算复杂度和内存需求问题，影响了高效推理的能力。为了解决这一瓶颈问题，研究人员提出了多种高效架构，如无注意力模型（S4、GSS和BiGS），以及结合特定上下文选择的Mamba模型，展示了较高的计算和内存效率。特别是通过将预训练的Transformer蒸馏到线性RNN中，康奈尔大学和其他机构的研究人员显著提高了推理速度，同时保持了生成质量。
跑通llama-factory
rookie的博客
08-31 286
之后在本地windows，ssh -N -f -L localhost:7863:localhost:7863 root@xx.xxx.xx.x。在本地windows，打开http://0.0.0.0:7863/，总是显示无法打开界面。1.在ubuntu下安装环境。之后刷新一下，就能显示了。
llama3-8b-chinese-chat llama3-
08-01
"llama3-8b-chinese-chat"这个组合似乎像是一个特定版本或者项目的命名，其中“llama3”可能是一个基础项目名或者平台，接着是“-8b-”这部分，可能代表了第8版或者包含某种特定功能或配置（如8位元版本），最后加上“Chinese-chat”，意味着这个项目或者应用是针对中文聊天的。这可能是一款人工智能聊天机器人，特别是考虑到有“Chat”一词在里面。 然而，由于缺乏详细的上下文信息，这只是一种推测。真正的含义可能会依据于开发者、社区或者特定领域的知识。如果你想知道它是哪个软件或者技术的具体内容，可能需要查看相关的文档或者搜索更多信息来源。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值