【LLM】Gemma:最新轻量级开源大语言模型实践

轻量级模型是 AI 模型,与传统模型相比,设计得更小、更高效。轻量模型表现为:

  • 更快的处理速度,因为它们需要更少的计算能力来在笔记本电脑甚至智能手机等资源较少的设备上运行和操作。
  • 减少内存使用量,因为它们占用的内存空间更少。
  • 降低运行模型所需的计算成本。

这种模型是通过使用更少的参数、创建优化的架构和量化(使用更少的位表示模型的数据)来实现的。

轻量级模型的示例包括 MobileNet(一种专为移动和嵌入式视觉应用设计的计算机视觉模型)、EfficientDet(一种对象检测模型)和 EfficientNet(一种使用复合缩放以实现更好性能的 CNN)。所有这些都是来自谷歌的轻量级模型。

在本文中,我们将介绍 Gemma,一款最先进的轻量级模型。

简介

Gemma 是由 Google AI 开发的一系列轻量级开源机器学习模型,这些模型易于访问且高效,使 AI 开发更容易为广大用户所接受。Gemma 于 2024 年 2 月 21 日发布,采用与Gemini 模型相同的技术架构。Gemma 是基于文本训练的。它在文本摘要、问答和推理等任务中表现出色。

根据可训练参数数量,Gemma 模型有两种主要版本:2B 和 7B,同时它还提供指令调整模型,如 Gemma 2B-FT 和 7B-FT,这些模型专为使用个人数据集进一步定制而设计。

一、Gemma构建

安装要求:

  • Kaggle账户
  • Colab Notebook

要获得对 Gemma 的访问权限,必须向 Gemma 模型卡发送访问请求并选择“请求访问”。您将需要填写同意书并接受条款和条件。然后,选择 Colab 运行时并配置 API 密钥。可以在 Gemma 设置文档中找到详细的设置。

在本教程中,我们将使用 Colab notebook环境来运行模型。完成 Gemma 设置后,您必须为 Colab 环境设置变量。

代码语言:python

**复制

import os
from google.colab import userdata


os.environ["KAGGLE_USERNAME"] = userdata.get('KAGGLE_USERNAME')
os.environ["KAGGLE_KEY"] = userdata.get('KAGGLE_KEY')

设置环境变量后,下一步是安装依赖项。要使用 Gemma,KerasNLP 是使用的依赖项。KerasNLP 是在 Keras 中实现的自然语言处理 (NLP) 模型的集合,可在 JAX、PyTorch 和 TensorFlow 上运行。

代码语言:shell

**复制

pip install -q -U keras-nlp
pip install -q -U keras>=3

现在已经安装了 KerasNLP,将选择一个后端来运行 Gemma。在下面的代码块中,使用了 jax。

代码语言:python

**复制

import os

os.environ["KERAS_BACKEND"] = "jax"  # Or "tensorflow" or "torch".

最后一步是导入已安装的库,并使用 GemmaCausalLM 类上的 from_preset 方法实例化 Gemma 模型。

代码语言:python

**复制

import keras
import keras_nlp
gemma_lm = keras_nlp.models.GemmaCausalLM.from_preset("gemma_2b_en")

# get more information about the model
gemma_lm.summary()

让我们现在开始生成一些文本!该类具有一个基于提示生成文本的 generate 方法。

代码语言:python

**复制

gemma_lm.generate("What is Generative AI?", max_length=64)

第一次运行可能需要一些时间,但后续运行将从提供的提示返回近乎即时的结果。

generate 方法还可以将一批提示作为字符串列表。

代码语言:python

**复制

gemma_lm.generate(
    ["What is the greatest thing ever?",
     "Why is the sky blue?"],
    max_length=256)

二、Gemma微调(LoRA)

微调是采用预训练模型并通过对更具体的数据集进行额外训练来进一步调整它的过程。这种技术利用了模型的通用功能,并允许模型在特定任务中表现出色,而不是停留在通用工具上。实现这种微调的一种技术是 LoRA(低秩适应)。

LoRA 是一种旨在增强预训练模型能力的技术。它通过一组明显更小的可训练参数来有效地优化transformer 网络。这些参数就像一个轻量级的“适配器”,位于预训练的 LLM 之上。

通过微调此适配器,LoRA 可以针对新任务修改模型的行为,而无需对底层结构进行大量更改。这意味着更快的训练时间、更少的内存使用量以及在功能较弱的硬件上运行 LLM 的能力。

在本节中,我们将微调来自 Hugging Face 的心理健康数据集。数据集地址:https://huggingface.co/datasets/Amod/mental_health_counseling_conversations

首先,我们通过运行下面的块来下载数据集。

代码语言:python

**复制

wget -O mental_health_counseling_conversations https://huggingface.co/datasets/Amod/mental_health_counseling_conversations/raw/main/combined_dataset.json

下载数据后,我们使用 2000 个示例的子集执行简单的预处理。

代码语言:python

**复制

import json
data = []
template = "Question:\n{Context}\n\nResponse:\n{Response}"
with open("combined_dataset.json") as file:
    for line in file:
        features = json.loads(line)
        # Appending all rows
        data.append(template.format(**features))


data = data[:500]

让我们使用提示词并观察生成的响应。

代码语言:python

**复制

prompt = template.format(
    Context="What should I do when I feel sad?",
    Response="",
)
print(gemma_lm.generate(prompt, max_length=256))

为了从模型中获得更好的响应,我们现在在数据集上使用 LoRA 进行微调,我们将使用 4 级,为了提高计算效率,建议从小级开始。

代码语言:python

**复制

gemma_lm.backbone.enable_lora(rank=4)
gemma_lm.summary()

接下俩,我们配置参数并执行一个训练会话

代码语言:python

**复制

gemma_lm.preprocessor.sequence_length = 512


optimizer = keras.optimizers.AdamW(
    learning_rate=5e-5,
    weight_decay=0.01,
)


optimizer.exclude_from_weight_decay(var_names=["bias", "scale"])


gemma_lm.compile(
    loss=keras.losses.SparseCategoricalCrossentropy(from_logits=True),
    optimizer=optimizer,
    weighted_metrics=[keras.metrics.SparseCategoricalAccuracy()],
)
gemma_lm.fit(data, epochs=1, batch_size=1)

等微调完毕之后,我们再次输入提示词,观察输出的结果与原来有什么不同

代码语言:python

**复制

prompt = template.format(
    Context="What should I do when I feel sad?",
    Response="",
)

响应存在差异,这是因为微调。为了从微调模型中获得更好的响应,可以执行以下操作:

  • 训练更多步骤(epoch)。
  • 设置更高的 LoRA 等级。
  • 修改超参数值。
  • 增加微调数据集的大小。

小结

我们探索了 Gemma 的创新性和能力。Gemma以文本为中心,可以对文本执行一系列任务。此外,Gemma 支持使用 LoRA 微调,为定制和适应特定任务和数据集提供了可能性。方便用户进一步提高模型的准确性,根据他们的独特要求进行模型定制。

如何系统的去学习大模型LLM ?

作为一名热心肠的互联网老兵,我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来

😝有需要的小伙伴,可以V扫描下方二维码免费领取🆓

在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1:AI大模型时代的基础理解

  • 目标:了解AI大模型的基本概念、发展历程和核心原理。
  • 内容
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
      - L1.4.1 知识大模型
      - L1.4.2 生产大模型
      - L1.4.3 模型工程方法论
      - L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2:AI大模型API应用开发工程

  • 目标:掌握AI大模型API的使用和开发,以及相关的编程技能。
  • 内容
    • L2.1 API接口
      - L2.1.1 OpenAI API接口
      - L2.1.2 Python接口接入
      - L2.1.3 BOT工具类框架
      - L2.1.4 代码示例
    • L2.2 Prompt框架
      - L2.2.1 什么是Prompt
      - L2.2.2 Prompt框架应用现状
      - L2.2.3 基于GPTAS的Prompt框架
      - L2.2.4 Prompt框架与Thought
      - L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
      - L2.3.1 流水线工程的概念
      - L2.3.2 流水线工程的优点
      - L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3:AI大模型应用架构实践

  • 目标:深入理解AI大模型的应用架构,并能够进行私有化部署。
  • 内容
    • L3.1 Agent模型框架
      - L3.1.1 Agent模型框架的设计理念
      - L3.1.2 Agent模型框架的核心组件
      - L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
      - L3.2.1 MetaGPT的基本概念
      - L3.2.2 MetaGPT的工作原理
      - L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
      - L3.3.1 ChatGLM的特点
      - L3.3.2 ChatGLM的开发环境
      - L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
      - L3.4.1 LLAMA的特点
      - L3.4.2 LLAMA的开发环境
      - L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4:AI大模型私有化部署

  • 目标:掌握多种AI大模型的私有化部署,包括多模态和特定领域模型。
  • 内容
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划:

  • 阶段1:1-2个月,建立AI大模型的基础知识体系。
  • 阶段2:2-3个月,专注于API应用开发能力的提升。
  • 阶段3:3-4个月,深入实践AI大模型的应用架构和私有化部署。
  • 阶段4:4-5个月,专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

😝有需要的小伙伴,可以Vx扫描下方二维码免费领取🆓

在这里插入图片描述

<think>好的,我现在需要帮助用户了解如何使用vLLM部署GEMMA3 27B模型。首先,我需要确认用户的需求。用户可能已经知道vLLM是一个高效推理和服务框架,想用它来部署较大的模型如GEMMA3 27B。我需要整理相关步骤,并确保信息准确。 首先,查阅vLLM的官方文档,看看是否支持GEMMA模型。根据之前的引用,Gemma是谷歌发布的轻量级开源模型,而vLLM支持多种架构,比如Llama、Mistral等,但需要确认是否适配Gemma的结构。可能需要用户自行验证兼容性,或者是否有社区贡献的支持。 然后,安装vLLM是关键步骤。用户需要安装最新版本的vLLM,可能通过pip或从源码安装。需要注意CUDA版本兼容性,因为vLLM依赖CUDA进行加速。 接下来是模型下载。用户需要从Hugging Face或官方仓库获取GEMMA3 27B的模型文件,确保下载的是支持PyTorch格式的版本。例如,Hugging Face上的模型可能需要转换或直接使用。 编写启动脚本时,需要了解vLLM的启动命令和参数。例如,使用`vllm.entrypoints.api_server`启动API服务,指定模型路径、tensor并行度、端口等。此外,可能需要调整参数如dtype为bfloat16以节省显存,设置gpu_memory_utilization来优化显存使用。 调用服务部分,用户可以通过curl或Python客户端发送请求。需要提供示例代码,展示如何构造请求体,处理响应。同时,可能需要处理授权问题,如果模型需要API token,需在请求头中添加。 在注意事项里,显存需求是一个重点。GEMMA3 27B可能需要多块GPU,比如使用tensor并行度2或4。需要提醒用户检查硬件资源是否足够,以及如何监控显存使用。 此外,用户可能遇到的问题包括模型格式不兼容、CUDA版本不匹配、依赖缺失等。需要建议安装正确的依赖,如特定版本的PyTorch和Transformers库。 最后,生成相关问题,帮助用户进一步了解模型部署的优化、性能监控、量化方法,以及结合其他工具的使用,比如LangChain。这些问题需要覆盖用户可能感兴趣的扩展话题,帮助他们深入应用。 确保回答中所有数学公式和代码符合格式要求,使用中文,结构清晰,引用正确。检查是否有遗漏的步骤或潜在问题,确保用户能够顺利按照指导进行操作。</think>### 使用vLLM部署GEMMA3 27B模型的步骤 #### 1. **环境准备** - 确保GPU驱动、CUDA(>=11.8)和PyTorch(>=2.0)已安装。 - 安装vLLM: ```bash # 从源码安装(推荐) git clone https://github.com/vllm-project/vllm.git cd vllm && pip install -e . # 或直接通过pip安装 pip install vllm ``` #### 2. **下载GEMMA3 27B模型** - 从Hugging Face下载模型权重(需访问权限): ```bash huggingface-cli download google/gemma-27b --local-dir ./gemma-27b ``` 若模型需要API token,需在Hugging Face账户中申请[^4]。 #### 3. **编写启动脚本** 创建`launch_gemma.py`文件,使用vLLM的API服务器: ```python from vllm.entrypoints import api_server api_server.start_http_server( model="google/gemma-27b", tensor_parallel_size=4, # 根据GPU数量调整(如4块A100) port=8000, dtype="bfloat16", # 显存优化 gpu_memory_utilization=0.9, trust_remote_code=True # 允许加载自定义模型代码 ) ``` #### 4. **启动服务** ```bash python launch_gemma.py ``` 服务启动后,可通过`http://localhost:8000`进行访问。 #### 5. **调用模型API** 使用Python客户端调用: ```python from vllm import LLM, SamplingParams sampling_params = SamplingParams(temperature=0.7, max_tokens=200) llm = LLM(model="google/gemma-27b", tensor_parallel_size=4) prompts = ["请解释量子计算的原理。"] outputs = llm.generate(prompts, sampling_params) for output in outputs: print(output.outputs[0].text) ``` #### 6. **注意事项** - **显存需求**:27B模型需至少4块40GB显存的GPU(如A100-40G),若显存不足可启用`swap_space`参数使用磁盘交换。 - **模型格式**:确保模型目录包含`config.json`和`pytorch_model.bin`文件。 - **授权问题**:若从Hugging Face下载模型时提示需要认证,需在代码中添加`token="YOUR_TOKEN"`参数[^1]。 --- ### 性能优化建议 1. **量化部署**:使用`dtype="float16"`或AWQ量化减少显存占用。 2. **批处理**:通过`batch_size`参数提高吞吐量,例如`api_server(..., max_num_batched_tokens=4096)`。 3. **监控工具**:结合`nvidia-smi`和vLLM内置的Prometheus指标监控显存和吞吐量。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值