【今日开源震撼发布】Gemma 2横空出世！9B & 27B模型规模，重塑8K上下文处理新标杆！

最新推荐文章于 2025-03-13 21:38:05 发布
最新推荐文章于 2025-03-13 21:38:05 发布
阅读量754 收藏 18
点赞数 5
分类专栏： 程序人生 AGI 文章标签： 学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_71745484/article/details/141258290
版权

🏆 基座模型

①项目：Gemma 2

在这里插入图片描述

★Gemma 2谷歌最新开源的大模型，有9B和27B两种参数规模，分别包含基础和指令微调版本。Gemma 2支持8K上下文，并使用旋转位置嵌入 (RoPE)。训练数据量约为其第一代的两倍，总计13万亿Tokens（27B）和8万亿Tokens（9B）的网页数据（主要是英语）、代码和数学数据。

☆一键收藏：

https://sota.jiqizhixin.com/project/gemma-2

②项目：NuExtract

在这里插入图片描述

★NuExtract是NuMind团队基于高质量私有合成数据集fine-tuned的phi-3-mini版本，用于信息提取。用户需要提供输入文本（少于2000个token）和描述所需提取信息的JSON模板。该模型纯粹是提取性的，因此模型输出的所有文本都存在于原始文本中。用户还可以提供输出格式的示例，以帮助模型更精确地理解任务。

☆一键收藏：

https://sota.jiqizhixin.com/project/nuextract

③项目：MegActor

在这里插入图片描述

★MegActor 是一个不需要中间表示的人像动画生成器，它使用原始视频作为驱动因素来生成真实生动的说话头像视频。该项目利用两个UNet网络：一个从源图像中提取身份和背景特征，另一个直接从原始视频中准确生成和整合运动特征。MegActor 可以在低质量的公开数据集上进行训练，并在面部表情、姿态多样性、微妙可控性和视觉质量方面表现出色。

☆一键收藏：

https://sota.jiqizhixin.com/project/megactor

🛠️框架平台、必备工具

①项目：LazyLLM

在这里插入图片描述

★LazyLLM是一个帮助开发者以极低成本构建和迭代优化复杂AI应用的低代码开发工具。它提供了一系列的标准流程和工具，支持快速原型搭建、数据回流分析和关键环节的算法迭代与模型微调。LazyLLM特别适用于构建包含多个Agent的AI应用，支持跨平台部署，并提供参数优化和模型微调的高效解决方案。

☆一键收藏：

https://sota.jiqizhixin.com/project/lazyllm

②项目：llama-agents

在这里插入图片描述

★llama-agents 是一个用于构建、迭代和生产化多Agent系统。它支持多Agent通信、分布式工具执行、人机协作等功能。在 llama-agents 中，每个Agent都被视为一个服务，不断处理传入的任务，并通过消息队列拉取和发布消息。

☆一键收藏：

https://sota.jiqizhixin.com/project/llama-agents

③项目：Hand-on-RAG

在这里插入图片描述

★Hand-on-RAG是一个基于RAG的项目，旨在通过检索广泛的文档数据库来引导语言模型生成答案，提高内容的准确性和相关性。该项目通过手搓实现RAG，方便进行小型实验，提供了一个学习和实践RAG的平台。

☆一键收藏：

https://sota.jiqizhixin.com/project/hand-on-rag

AI时代的职场新潮流

听说AI要来抢工作了？别担心，新岗位可比旧岗位有趣多了！想象一下，你从搬砖工升级成了机器人操作员，从算盘小能手变成了大数据分析师，这不是美滋滋吗？所以，社会生产效率提升了，我们也能更轻松地工作。不过，想成为AI界的佼佼者？那就得赶紧学起来，不然就会被同行们甩得连AI的尾巴都摸不着了！

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。

速评谷歌开源大模型Gemma 7B
herosunly的博客
02-22 1万+
本文主要对谷歌开源大模型Gemma 7B进行了速评，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 速评 2.1 测评方法 2.2 测评场景一: 自我认知 2.3 测评场景二: 事实提问 2.4 测评场景三: 指令跟随 2.5 评测场景四：互联网信息搜索和理解
llama3地位不保？谷歌Gemma2 27B开源，预训练13T tokens!
强化学习曾小健
07-06 1098
27B 分数非常接近。对于GPU VRAM 较低的场景来说，27B 可能是 70B 的一个很好的替代品。欢迎多多关注，加入交流群，交个朋友吧，一起学习，一起进步！27b 在聊天机器人领域优于 llama 3 70B。模型是在包含多种来源的文本数据集上进行训练的。全局注意力层的跨度设置为 8192 个标记。27B 模型使用 13T 的tokens。刚刚瞄了一眼，权重真开源了！8T 的tokens进行训练。进行训练，9B 模型使用。，技术报告中写的是：我们。的 27B 分数稍低。是我坚持的最大动力！
基于LLM大模型的结构化数据批量提取
新缸中之脑
01-16 3251
在当今世界，越来越多的组织致力于数据驱动的决策。然而，他们通常面临着从非结构化文本数据（例如客户评论或反馈）中提取有价值的见解的挑战。这篇文章是为想要使用非结构化数据获得有用见解的数据科学家、分析师和决策者量身定制的。我们探索大型语言模型 (LLM) 的批量用例，重点关注非结构化文本到结构化数据的转换。通过利用这种方法，企业可以利用结构化信息丰富其数据库，并提高对非结构化数据源的理解。为了说明此类用例，我们将深入研究客户反馈分析的示例。这个提供了开始使用此类 LLM 批量用例的常规设置。
使用 Ollama 本地运行各种 LLM
python123456_的博客
05-31 1196
今天看看另外一个产品Ollama。Ollama 的安装非常简单，只需从官网（https://ollama.com/download）下载后解压缩，并在 Terminal 中运行脚本即可完成环境设置。我尝试运行 Llama3，虽然在运行时占用了大量电脑资源，使得其他应用运行变慢，但整体体验尚可。Ollama 支持多种大型语言模型（https://ollama.com/library）。
AnythingLLM：基于RAG方案构专属私有知识库（开源｜高效｜可定制）
FrenzyTechAI的博客
12-13 2万+
继OpenAI和Google的产品发布会之后，大模型的能力进化速度之快令人惊叹，然而，对于很多个人和企业而言，为了数据安全不得不考虑私有化部署方案，从GPT-4发布以来，国内外的大模型就拉开了很明显的差距，能够实现的此路径无非就只剩下国内的开源大模型可以选择了。而现阶段切入大模型应用落地最合适的方案依然是结合大模型基于RAG检索增强来实现知识库的检索和生存。从而构建个人或者企业私有化的本地知识库。
【LLM大模型】AI大模型图书推荐：大模型应用开发极简入门
2301_81940605的博客
08-09 1149
今天给大家推荐一本大模型应用开发入门书籍《大模型应用开发极简入门》，本书对很多AI概念做了讲解和说明，
【大模型应用开发-大模型知识】(二)大模型分类和常见大模型
02-27 9369
目前包含 Claude 和 Claude-Instant 两种模型可供选择，其中 Claude Instant 的延迟更低，性能略差，价格比完全体的 Claude-v1 要便宜，两个模型的上下文窗口都是 9000 个token（约 5000 个单词，或 15 页）它的目标是“更安全”、“危害更小”的人工智能。Google 还开发了多种 PaLM 的改进版本。更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。
Google 发布了最新的开源大模型 Gemma 2，本地快速部署和体验
老牛啊
07-02 7637
Google 重磅发布了最新版大语言模型Gemma 2，其中 90亿 参数版本适合我们个人在笔记本本地部署，老牛同学通过本文和大家一起，通过2种方式快速部署和体验，当然这2种快速部署模型的方式，也同样适用于其他大模型……
本地部署新标杆！谷歌Gemma 3硬核实测：27B参数完胜DeepSeek V3，中文理解惊艳
理论都是虚的，代码才是王道。
03-13 4724
在AI模型愈发庞大的今天，谷歌最新推出的Gemma 3系列开源模型犹如一股清流。作为深耕AI领域的开发者，本人第一时间对这款号称"单GPU可运行的最强模型"进行了深度实测，本文将带您全面解析这个轻量化模型的革命性突破。Gemma 3在仅DeepSeek 1/8参数量下实现全面性能超越，重新定义了轻量化模型的行业标准。“该流程图展示了机器学习项目的标准工作流，包含数据采集→清洗→特征工程→模型训练→评估→部署六个阶段，其中反馈循环存在于模型评估与特征工程之间…1️⃣ 跨模态理解：支持图像分析与文本生成联动。
128K超长上下文多语言多模态Gemma 3发布，单卡AI性能显著提升！27B超越DeepSeek-V3 可在单块 GPU 上运行的最强 AI 模型
AI人工智能的学习之路
03-13 1822
增加模型的视觉理解能力，扩展语言覆盖范围，支持长达128K个token的上下文，并通过知识蒸馏提高模型的数学、聊天、指令遵循和多语言能力。Gemma 3 提供 1B(32K)、4B、12B 和 27B 参数大小，在问答、总结和推理等任务中表现出色，其紧凑的设计使其可以在资源有限的设备上部署。尽管如此，模型的记忆和隐私风险仍然需要持续关注和改进。：Gemma的技术演进经历了多个阶段，从最初的Gemma 1到最新的Gemma 3，每一次迭代都在模型架构、多模态能力和长上下文处理等方面取得了显著进展。
viky-ai：自然语言处理平台。 允许从非结构化文本中提取信息
02-05
欢迎来到viky.ai 什么是viky.ai viky.ai是自然语言处理平台。 它允许您从非结构化文本内容中提取信息。 技术组件nlp允许提取结构化信息，此提取在代理中定义。 代理商是会说多种语言的助手，以查找相关数据。 nlp组件将一组JSON格式的代理和非结构化文本内容作为输入，以提供结构化数据的JSON流作为输出。 第二个技术组件是一个Web应用程序，允许您通过提供专用界面来协同工作以设置代理。 它还提供了解释API，以允许集成到第三方系统中。 入门 您可以在Linux和macOS上运行viky.ai。 要求 用于开发的viky.ai本地安装依赖于以下依赖项。 Docker E
【大模型书籍】24年最新大模型书籍，一书通关LLM大模型，＜大模型应用开发极简入门＞蛇尾书！
pythonhy的博客
06-25 2401
大家好，今天给大家推荐一本大模型应用开发入门书籍《大模型应用开发极简入门》，本书对很多AI概念做了讲解和说明！朋友们如果有需要 《》，👉CSDN大礼包（安全链接，放心点击）👈​。
一种使得大模型输出结构化数据的简易方法
AndrewLi的博客
07-10 6741
最近在用大模型跑一些数据，于是就不可避免的遇到了如何让大模型输出的格式便于处理这个问题。经过一些研究总结出了一套比较有用的方法，在这里总结一下。
AnythingLLM一键AI私有知识库! 支持多种大模型、RAG 和 AI Agents！
Y525698136的博客
10-25 1811
AnythingLLM是一个全栈AI应用程序，可以将任何文档、资源（如网址链接、音频、视频）输入大语言模型（LLM），与大模型互动。
python提取文本中的数字_用深度学习从非结构化文本中提取特定信息
weixin_39927993的博客
11-27 848
本文为 AI 研习社编译的技术博客，原标题 ：Deep learning for specific information extraction from unstructured texts作者 | Intuition Engineering翻译 | AI小山 编辑 | 王立鱼原文链接：https://towardsdatascience.com/deep-learning-for-s...
论文导读 | 利用LLM从科学文本中抽取结构化信息
m0_59164520的博客
12-03 1414
对于机器学习模型来说，从科学文本中抽取结构化知识仍然是一项具有挑战性的任务。本文提出了一种简单的联合命名实体识别和关系抽取(NERRE)的方法，并展示了如何对预训练的大型语言模型（GPT-3, Llama-2）进行微调，以抽取复杂科学知识。论文测试了材料化学中的三个代表性任务：固态杂质掺杂，金属有机框架(MOFs)，以及一般成分/相/形态/应用信息抽取。记录是从单个句子或整个段落中抽取的，输出可以以简单的英语句子或更结构化的格式（如JSON对象列表）返回。
办公新利器：DeepSeek+Word，让你的工作更高效
热门推荐
qq_63708623的博客
02-02 2万+
DeepSeek与Word的梦幻联动，将为你开启高效办公的新篇章！熟悉的Word界面中，只需轻点鼠标，就能召唤出强大的DeepSeek，让它为你快速检索信息、精准翻译文本、智能生成内容…… 告别在不同软件间来回切换的繁琐，告别低效的信息获取方式，让办公效率飞起来！
Cursor使用及接入教程（非常详细），零基础入门到精通，看这一篇就够了
Python单行客的博客
10-30 8450
Cursor使用及接入教程（非常详细），零基础入门到精通，看这一篇就够了
MacBook 本地化部署 Dify 指南
python1234567_的博客
01-23 4570
今天带来的是AIAgent 的另外一个流派，可以支持本地化部署的开源 AIAgent 平台Dify。Dify 是一个开源的 LLMOps（大语言模型运营）平台，它允许开发者能够在本地快速创建和部署 AI 应用。Dify 和 Coze 类似，也是通过可视化的方式进行 AI 应用构建，而且支持多种大语言模型，包含 GPT-3.5 、 GPT-4 等，同时，Dify 的另外一大优势是能接入本地化部署的大语言模型。在应用提供上，Dify 还提供了API 接口，可以让用户非常方便的将 AI 应用集成到其他系统。
vllm部署gemma3:27b模型
最新发布
03-20
<think>好的，我现在需要帮助用户了解如何使用vLLM部署GEMMA3 27B模型。首先，我需要确认用户的需求。用户可能已经知道vLLM是一个高效推理和服务框架，想用它来部署较大的模型如GEMMA3 27B。我需要整理相关步骤，并确保信息准确。 首先，查阅vLLM的官方文档，看看是否支持GEMMA模型。根据之前的引用，Gemma是谷歌发布的轻量级开源模型，而vLLM支持多种架构，比如Llama、Mistral等，但需要确认是否适配Gemma的结构。可能需要用户自行验证兼容性，或者是否有社区贡献的支持。 然后，安装vLLM是关键步骤。用户需要安装最新版本的vLLM，可能通过pip或从源码安装。需要注意CUDA版本兼容性，因为vLLM依赖CUDA进行加速。 接下来是模型下载。用户需要从Hugging Face或官方仓库获取GEMMA3 27B的模型文件，确保下载的是支持PyTorch格式的版本。例如，Hugging Face上的模型可能需要转换或直接使用。 编写启动脚本时，需要了解vLLM的启动命令和参数。例如，使用`vllm.entrypoints.api_server`启动API服务，指定模型路径、tensor并行度、端口等。此外，可能需要调整参数如dtype为bfloat16以节省显存，设置gpu_memory_utilization来优化显存使用。 调用服务部分，用户可以通过curl或Python客户端发送请求。需要提供示例代码，展示如何构造请求体，处理响应。同时，可能需要处理授权问题，如果模型需要API token，需在请求头中添加。 在注意事项里，显存需求是一个重点。GEMMA3 27B可能需要多块GPU，比如使用tensor并行度2或4。需要提醒用户检查硬件资源是否足够，以及如何监控显存使用。 此外，用户可能遇到的问题包括模型格式不兼容、CUDA版本不匹配、依赖缺失等。需要建议安装正确的依赖，如特定版本的PyTorch和Transformers库。 最后，生成相关问题，帮助用户进一步了解模型部署的优化、性能监控、量化方法，以及结合其他工具的使用，比如LangChain。这些问题需要覆盖用户可能感兴趣的扩展话题，帮助他们深入应用。 确保回答中所有数学公式和代码符合格式要求，使用中文，结构清晰，引用正确。检查是否有遗漏的步骤或潜在问题，确保用户能够顺利按照指导进行操作。</think>### 使用vLLM部署GEMMA3 27B模型的步骤 #### 1. **环境准备** - 确保GPU驱动、CUDA（>=11.8）和PyTorch（>=2.0）已安装。 - 安装vLLM： ```bash # 从源码安装（推荐） git clone https://github.com/vllm-project/vllm.git cd vllm && pip install -e . # 或直接通过pip安装 pip install vllm ``` #### 2. **下载GEMMA3 27B模型** - 从Hugging Face下载模型权重（需访问权限）： ```bash huggingface-cli download google/gemma-27b --local-dir ./gemma-27b ``` 若模型需要API token，需在Hugging Face账户中申请[^4]。 #### 3. **编写启动脚本** 创建`launch_gemma.py`文件，使用vLLM的API服务器： ```python from vllm.entrypoints import api_server api_server.start_http_server( model="google/gemma-27b", tensor_parallel_size=4, # 根据GPU数量调整（如4块A100） port=8000, dtype="bfloat16", # 显存优化 gpu_memory_utilization=0.9, trust_remote_code=True # 允许加载自定义模型代码 ) ``` #### 4. **启动服务** ```bash python launch_gemma.py ``` 服务启动后，可通过`http://localhost:8000`进行访问。 #### 5. **调用模型API** 使用Python客户端调用： ```python from vllm import LLM, SamplingParams sampling_params = SamplingParams(temperature=0.7, max_tokens=200) llm = LLM(model="google/gemma-27b", tensor_parallel_size=4) prompts = ["请解释量子计算的原理。"] outputs = llm.generate(prompts, sampling_params) for output in outputs: print(output.outputs[0].text) ``` #### 6. **注意事项** - **显存需求**：27B模型需至少4块40GB显存的GPU（如A100-40G），若显存不足可启用`swap_space`参数使用磁盘交换。 - **模型格式**：确保模型目录包含`config.json`和`pytorch_model.bin`文件。 - **授权问题**：若从Hugging Face下载模型时提示需要认证，需在代码中添加`token="YOUR_TOKEN"`参数[^1]。 --- ### 性能优化建议 1. **量化部署**：使用`dtype="float16"`或AWQ量化减少显存占用。 2. **批处理**：通过`batch_size`参数提高吞吐量，例如`api_server(..., max_num_batched_tokens=4096)`。 3. **监控工具**：结合`nvidia-smi`和vLLM内置的Prometheus指标监控显存和吞吐量。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值