【今日开源震撼发布】Gemma 2横空出世！9B & 27B模型规模，重塑8K上下文处理新标杆！

最新推荐文章于 2025-04-15 01:47:00 发布
最新推荐文章于 2025-04-15 01:47:00 发布
阅读量832 收藏 8
点赞数 11
分类专栏： 程序人生 AGI 文章标签： 人工智能 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_71745484/article/details/141329534
版权

🏆 基座模型

①项目：Gemma 2
在这里插入图片描述

★Gemma 2谷歌最新开源的大模型，有9B和27B两种参数规模，分别包含基础和指令微调版本。Gemma 2支持8K上下文，并使用旋转位置嵌入 (RoPE)。训练数据量约为其第一代的两倍，总计13万亿Tokens（27B）和8万亿Tokens（9B）的网页数据（主要是英语）、代码和数学数据。

☆一键收藏：

https://sota.jiqizhixin.com/project/gemma-2

②项目：NuExtract

在这里插入图片描述

★NuExtract是NuMind团队基于高质量私有合成数据集fine-tuned的phi-3-mini版本，用于信息提取。用户需要提供输入文本（少于2000个token）和描述所需提取信息的JSON模板。该模型纯粹是提取性的，因此模型输出的所有文本都存在于原始文本中。用户还可以提供输出格式的示例，以帮助模型更精确地理解任务。

☆一键收藏：

https://sota.jiqizhixin.com/project/nuextract

③项目：MegActor

在这里插入图片描述

★MegActor 是一个不需要中间表示的人像动画生成器，它使用原始视频作为驱动因素来生成真实生动的说话头像视频。该项目利用两个UNet网络：一个从源图像中提取身份和背景特征，另一个直接从原始视频中准确生成和整合运动特征。MegActor 可以在低质量的公开数据集上进行训练，并在面部表情、姿态多样性、微妙可控性和视觉质量方面表现出色。

☆一键收藏：

https://sota.jiqizhixin.com/project/megactor

🛠️框架平台、必备工具

①项目：LazyLLM

在这里插入图片描述

★LazyLLM是一个帮助开发者以极低成本构建和迭代优化复杂AI应用的低代码开发工具。它提供了一系列的标准流程和工具，支持快速原型搭建、数据回流分析和关键环节的算法迭代与模型微调。LazyLLM特别适用于构建包含多个Agent的AI应用，支持跨平台部署，并提供参数优化和模型微调的高效解决方案。

☆一键收藏：

https://sota.jiqizhixin.com/project/lazyllm

②项目：llama-agents

在这里插入图片描述

★llama-agents 是一个用于构建、迭代和生产化多Agent系统。它支持多Agent通信、分布式工具执行、人机协作等功能。在 llama-agents 中，每个Agent都被视为一个服务，不断处理传入的任务，并通过消息队列拉取和发布消息。

☆一键收藏：

https://sota.jiqizhixin.com/project/llama-agents

③项目：Hand-on-RAG

在这里插入图片描述

★Hand-on-RAG是一个基于RAG的项目，旨在通过检索广泛的文档数据库来引导语言模型生成答案，提高内容的准确性和相关性。该项目通过手搓实现RAG，方便进行小型实验，提供了一个学习和实践RAG的平台。

☆一键收藏：

https://sota.jiqizhixin.com/project/hand-on-rag

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
速评谷歌开源大模型Gemma 7B
herosunly的博客
02-22 1万+
本文主要对谷歌开源大模型Gemma 7B进行了速评，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 速评 2.1 测评方法 2.2 测评场景一: 自我认知 2.3 测评场景二: 事实提问 2.4 测评场景三: 指令跟随 2.5 评测场景四：互联网信息搜索和理解
llama3地位不保？谷歌Gemma2 27B开源，预训练13T tokens!
强化学习曾小健
07-06 1099
27B 分数非常接近。对于GPU VRAM 较低的场景来说，27B 可能是 70B 的一个很好的替代品。欢迎多多关注，加入交流群，交个朋友吧，一起学习，一起进步！27b 在聊天机器人领域优于 llama 3 70B。模型是在包含多种来源的文本数据集上进行训练的。全局注意力层的跨度设置为 8192 个标记。27B 模型使用 13T 的tokens。刚刚瞄了一眼，权重真开源了！8T 的tokens进行训练。进行训练，9B 模型使用。，技术报告中写的是：我们。的 27B 分数稍低。是我坚持的最大动力！
Google 发布了最新的开源大模型 Gemma 2，本地快速部署和体验
老牛啊
07-02 7640
Google 重磅发布了最新版大语言模型Gemma 2，其中 90亿 参数版本适合我们个人在笔记本本地部署，老牛同学通过本文和大家一起，通过2种方式快速部署和体验，当然这2种快速部署模型的方式，也同样适用于其他大模型……
使用 Ollama 本地运行各种 LLM
python123456_的博客
05-31 1200
今天看看另外一个产品Ollama。Ollama 的安装非常简单，只需从官网（https://ollama.com/download）下载后解压缩，并在 Terminal 中运行脚本即可完成环境设置。我尝试运行 Llama3，虽然在运行时占用了大量电脑资源，使得其他应用运行变慢，但整体体验尚可。Ollama 支持多种大型语言模型（https://ollama.com/library）。
一键部署 Gemma-2-9B-Chinese-Chat
瓦罗兰特顶级C位的博客
10-18 1231
该教程为 Gemma-2-9B-Chinese-Chat 一键部署 Demo,只需克隆并启动该容器，直接复制生成的 API 地址，即可对模型进行推理体验。
TensorFlow相关组件的安装
AAI666666的博客
01-11 2571
TensorFlow相关组件的安装
128K超长上下文多语言多模态Gemma 3发布，单卡AI性能显著提升！27B超越DeepSeek-V3 可在单块 GPU 上运行的最强 AI 模型
AI人工智能的学习之路
03-13 1824
增加模型的视觉理解能力，扩展语言覆盖范围，支持长达128K个token的上下文，并通过知识蒸馏提高模型的数学、聊天、指令遵循和多语言能力。Gemma 3 提供 1B(32K)、4B、12B 和 27B 参数大小，在问答、总结和推理等任务中表现出色，其紧凑的设计使其可以在资源有限的设备上部署。尽管如此，模型的记忆和隐私风险仍然需要持续关注和改进。：Gemma的技术演进经历了多个阶段，从最初的Gemma 1到最新的Gemma 3，每一次迭代都在模型架构、多模态能力和长上下文处理等方面取得了显著进展。
强势超越 Llama3？ Gemma2 中文版谷歌开源大模型 Gemma2-9B-Chinese-Chat 教程来了
XLionXxxx的博客
07-19 522
进入 OpenBayes 平台后，打开「公共教程」，找到「一键部署 Gemma-2-9B-Chinese-Chat」的教程。比如我们输入「我的蓝牙耳机坏了，我该去看牙科还是耳鼻喉科」，它给我们的回答非常合理，中文理解能力非常优秀。Temperature 可以改变模型输出的随机性，Temperature 的值越大，模型的输出越随机；等待系统分配资源完成后，将鼠标悬停在「API 地址」处，点击上方链接即可进入 Demo 界面。算力选择 RTX 4090，别忘了使用链接注册哦，选择后直接点击「审核并执行」。
Gemma2——Google 新开源大型语言模型完整应用指南
知来者逆的博客
07-06 2961
以前代产品为基础，提供增强的性能和效率，以及一系列创新功能，使其在研究和实际应用中都具有特别的吸引力。Gemma 2 的与众不同之处在于，它能够提供与更大的专有模型相当的性能，但其软件包专为更广泛的可访问性和在更适中的硬件设置上使用而设计。随着深入研究 Gemma 2 的技术规格和架构，越来越被其设计的精妙之处所折服。该模型采用了多种先进技术，包括新颖的注意力机制和创新的训练稳定性方法，这些都为其卓越的性能做出了贡献。在本综合指南中，将深入探索 Gemma 2，研究其架构、主要功能和实际应用。
【AI原理解析】— Gemma2模型
深耕AI领域，专注中、高人工智能领域发展；同步研究电磁学及超导材料、量子力学；关注能源发展和技术，同时进行医学创新
06-10 1849
Gemma 2通过先进的模型设计、技术细节和训练优化策略，实现了在保持高性能的同时降低计算成本的目标。其跨平台兼容性和灵活性使得它成为推动AI创新的重要工具之一
Gemma-2-9B 中文微调版
weixin_51674085的博客
07-02 510
模型，该模型在包括中文提示词下的角色扮演、function call、数学问题解答、写作和编码上表现非常好，官方甚至提供了弱智吧的一些问题，回答的也很有趣, 你可以在这个 Space。是第一个为中文和英文用户量身定制的。
让天下没有难Tuning的大模型-PEFT（参数效率微调）技术简介
强化学习曾小健
06-20 574
让天下没有难Tuning的大模型-PEFT技术简介》最近，深度学习的研究中出现了许多大型预训练模型，例如GPT-3、BERT等，这些模型可以在多种自然语言处理任务中取得优异的性能表现。而其中，ChatGPT模型因为在对话生成方面的表现而备受瞩目，成为了自然语言处理领域的热门研究方向。然而，这些大型预训练模型的训练成本非常高昂，需要庞大的计算资源和大量的数据，一般人难以承受。这也导致了一些研究人员难以重复和验证先前的研究成果。
Google最新开源大语言模型：Gemma 2介绍及其微调(上篇)
ljp1919的专栏
07-21 3471
2024年6月27日，Google DeepMind发布了Gemma 2，这是Gemma系列轻量级开放语言模型的最新成员。Gemma 2在架构和训练方法上都有重大创新，在多项基准测试中取得了显著进步，甚至可以与参数规模大2-3倍的模型相媲美。本文将对Gemma 2技术报告的主要内容进行解读，包括模型架构、预训练和后训练方法、性能评估等方面。
Google 发布最新开放大语言模型 Gemma 2，现已登陆 Hugging Face Hub
Hugging Face
06-28 1018
Google 发布了最新的开放大语言模型 Gemma 2，我们非常高兴与 Google 合作，确保其在 Hugging Face 生态系统中的最佳集成。你可以在 Hub 上找到 4 个开源模型 (2 个基础模型和 2 个微调模型) 。发布的功能和集成包括：Hub 上的模型https://hf.co/collections/google/g-667d6600fd5220e7b967f315Huggi...
Gemma 2：开启人工智能普及新时代
最新发布
2501_90323865的博客
04-15 22
在当今时代，人工智能（AI）被寄予解决世界重大问题的厚望，然而要实现这一目标，前提是让更多人掌握使用它的工具。2024 年 6 月 27 日，谷歌作为人工智能技术领域的领军者，推出了 Gemma 2 9B 和 27B 这一组轻量级、先进的人工智能模型，这一举措成为人工智能民主化进程中的一个重要里程碑。
一文速览Gemma 2和Gemma 3：从论文审稿GPT第3.5版(微调Gemma)，到第5.2版(早期paper-7方面review微调Gemma2)
结构之法 算法之道
06-29 6345
如此文《》所讲Google作为曾经的AI老大，我司自然紧密关注，所以当Google总算开源了一个gemma 7b，作为有技术追求、技术信仰的我司，那必须得支持一下，比如用我司的paper-review数据集微调试下，彰显一下gemma的价值与威力。
vllm部署gemma3:27b模型
03-20
<think>好的，我现在需要帮助用户了解如何使用vLLM部署GEMMA3 27B模型。首先，我需要确认用户的需求。用户可能已经知道vLLM是一个高效推理和服务框架，想用它来部署较大的模型如GEMMA3 27B。我需要整理相关步骤，并确保信息准确。 首先，查阅vLLM的官方文档，看看是否支持GEMMA模型。根据之前的引用，Gemma是谷歌发布的轻量级开源模型，而vLLM支持多种架构，比如Llama、Mistral等，但需要确认是否适配Gemma的结构。可能需要用户自行验证兼容性，或者是否有社区贡献的支持。 然后，安装vLLM是关键步骤。用户需要安装最新版本的vLLM，可能通过pip或从源码安装。需要注意CUDA版本兼容性，因为vLLM依赖CUDA进行加速。 接下来是模型下载。用户需要从Hugging Face或官方仓库获取GEMMA3 27B的模型文件，确保下载的是支持PyTorch格式的版本。例如，Hugging Face上的模型可能需要转换或直接使用。 编写启动脚本时，需要了解vLLM的启动命令和参数。例如，使用`vllm.entrypoints.api_server`启动API服务，指定模型路径、tensor并行度、端口等。此外，可能需要调整参数如dtype为bfloat16以节省显存，设置gpu_memory_utilization来优化显存使用。 调用服务部分，用户可以通过curl或Python客户端发送请求。需要提供示例代码，展示如何构造请求体，处理响应。同时，可能需要处理授权问题，如果模型需要API token，需在请求头中添加。 在注意事项里，显存需求是一个重点。GEMMA3 27B可能需要多块GPU，比如使用tensor并行度2或4。需要提醒用户检查硬件资源是否足够，以及如何监控显存使用。 此外，用户可能遇到的问题包括模型格式不兼容、CUDA版本不匹配、依赖缺失等。需要建议安装正确的依赖，如特定版本的PyTorch和Transformers库。 最后，生成相关问题，帮助用户进一步了解模型部署的优化、性能监控、量化方法，以及结合其他工具的使用，比如LangChain。这些问题需要覆盖用户可能感兴趣的扩展话题，帮助他们深入应用。 确保回答中所有数学公式和代码符合格式要求，使用中文，结构清晰，引用正确。检查是否有遗漏的步骤或潜在问题，确保用户能够顺利按照指导进行操作。</think>### 使用vLLM部署GEMMA3 27B模型的步骤 #### 1. **环境准备** - 确保GPU驱动、CUDA（>=11.8）和PyTorch（>=2.0）已安装。 - 安装vLLM： ```bash # 从源码安装（推荐） git clone https://github.com/vllm-project/vllm.git cd vllm && pip install -e . # 或直接通过pip安装 pip install vllm ``` #### 2. **下载GEMMA3 27B模型** - 从Hugging Face下载模型权重（需访问权限）： ```bash huggingface-cli download google/gemma-27b --local-dir ./gemma-27b ``` 若模型需要API token，需在Hugging Face账户中申请[^4]。 #### 3. **编写启动脚本** 创建`launch_gemma.py`文件，使用vLLM的API服务器： ```python from vllm.entrypoints import api_server api_server.start_http_server( model="google/gemma-27b", tensor_parallel_size=4, # 根据GPU数量调整（如4块A100） port=8000, dtype="bfloat16", # 显存优化 gpu_memory_utilization=0.9, trust_remote_code=True # 允许加载自定义模型代码 ) ``` #### 4. **启动服务** ```bash python launch_gemma.py ``` 服务启动后，可通过`http://localhost:8000`进行访问。 #### 5. **调用模型API** 使用Python客户端调用： ```python from vllm import LLM, SamplingParams sampling_params = SamplingParams(temperature=0.7, max_tokens=200) llm = LLM(model="google/gemma-27b", tensor_parallel_size=4) prompts = ["请解释量子计算的原理。"] outputs = llm.generate(prompts, sampling_params) for output in outputs: print(output.outputs[0].text) ``` #### 6. **注意事项** - **显存需求**：27B模型需至少4块40GB显存的GPU（如A100-40G），若显存不足可启用`swap_space`参数使用磁盘交换。 - **模型格式**：确保模型目录包含`config.json`和`pytorch_model.bin`文件。 - **授权问题**：若从Hugging Face下载模型时提示需要认证，需在代码中添加`token="YOUR_TOKEN"`参数[^1]。 --- ### 性能优化建议 1. **量化部署**：使用`dtype="float16"`或AWQ量化减少显存占用。 2. **批处理**：通过`batch_size`参数提高吞吐量，例如`api_server(..., max_num_batched_tokens=4096)`。 3. **监控工具**：结合`nvidia-smi`和vLLM内置的Prometheus指标监控显存和吞吐量。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值