本地部署Llama2，Gemma，Mistral等大语言开源模型

已于 2024-03-27 20:51:26 修改
阅读量972 收藏 6
点赞数 9
文章标签： 人工智能 ollama llama2 gemma
于 2024-03-27 20:50:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44782294/article/details/137089080
版权

Llama2，Gemma，Mistral等大语言开源模型都开源免费给大家使用，但是基于这些模型的使用都要操作一堆代码，操作之繁琐。本期我们就基于ollama一键安装各大开源模型，且可以本地部署使用。告别繁琐的代码编程，不用联网，本地使用大语言模型。

ollama是一个开源的第三方大语言模型使用插件，我们下载ollama后，可以很方便的使用Llama2，Gemma，Mistral等大语言开源模型。首先到ollama的官网，或者GitHub链接下载ollama进行安装，其ollama支持window版本，Mac版本，以及Linux版本，可以根据自己的电脑配置下载安装。由于ollama要使用GPU进行加速运算，因此电脑需要有N卡。

ollama就是一个简单的软件，安装完成后，直接双击运行即可，运行后，ollama会运行在后台提供服务，我们只需要进入一个CMD窗口即可。在终端界面输入ollama run llama2就可以愉快的跟llama2模型聊天了。当然，你若是第一次运行ollama，ollama会自动检测电脑上是否有相关的开源模型，若没有相关的开源模型，会自动下载。若是已经下载过llama2，运行以上命令后，会自动打开llama2大模型。

ollama支持主流的几十种大语言模型，可以直接使用ollama run + 模型的名字来运行，若本地没有下载过相关的模型，会自动下载，大大节省了操作的流程。这里模型记录聊天记录，能使用中文聊天，当然若想体验完整的中文，最好下载中文llama模型，或者其他国产开源模型。

当然这里下载的任何模型都可以进行使用，ollama list可以查看所有本地电脑安装好的模型，当然这些大模型也是比较大，若不想使用，也可以使用ollama rm llama2来删除。

这里需要注意的是8 GB RAM run 7B models, 16 GB run 13B models, 32 GB run 33B models.这里需要注意自己的电脑配置。

https://ollama.com/blog
https://ollama.com/library

当然运行在终端窗口中，虽然是一个界面，但是其界面并不美观，其实很多UI界面窗口都支持ollama，我们下期分享下其他界面的安装与使用方法。

更多transformer，VIT，swin tranformer
参考头条号：人工智能研究所
v号：启示AI科技
微信中复制如下链接，打开，免费使用chatgpt
 
https://wx2.expostar.cn/qz/pages/manor/index?id=1137&share_from_id=79482&sid=24

动画详解transformer   课程链接

本地快速部署谷歌开放模型Gemma教程(基于WasmEdge)
特立独行的博客
02-29 2221
谷歌最近发布了新一代开源AI模型Gemma，此次发布的 Gemma 相比自家的 Gemini 更加轻量级，模型权重也一并开源。不仅可以在笔记本电脑上运行，而且还免费可商用，支持中文。运行速度飞快。
llamma笔记：部署Llama2
qq_40206371的博客
03-15 1097
地址似乎不能填中国。
本地部署 mistralai/Mistral-Nemo-Instruct-2407
engchina的专栏
07-21 2146
本地部署 mistralai/Mistral-Nemo-Instruct-2407
Ollama下载模型越来越慢的解决办法
fx_yzjy101的专栏
02-10 6508
最近都在使用Ollama本地部署DeepSeek-r1，我也下载了，于是发现了一个问题，一开始下载速度比较快，但是有点虎头蛇尾，下载速度会越来越慢。在网上也搜索到一些脚本，但是没有找到适合我的脚本，所以自己写了一个，可以自动实现加速。如果需要下载其他模型，只需要修改模型名称。
开源模型Mistral 7B+Amazon SageMaker部署指南
白洞，白色的明天在等着我们
03-03 6232
Mistral AI 是一家总部位于法国的 AI 公司，其使命是将公开可用的模型提升至最先进的性能水平。他们专注于构建快速而安全的大型语言模型（LLM），此类模型可用于从聊天机器人到代码生成等各种任务。不久前其发布了一个开源模型Mistral 7B，支持英语文本生成任务并具备自然编码能力。它为实现低延迟进行过优化，并且相对其规模，该模型对内存的要求较低，可提供高吞吐量。该模型体积虽小，但功能强大，可支持从文本摘要和分类到文本完善和代码补全等多种使用案例。
Mistral-7B本地运行【Ollama】
新缸中之脑
01-31 2173
Mistral 7B是 Mistral AI 发布的 70 亿参数语言模型。Mistral 7B 是一种精心设计的语言模型，可提供高效和高性能以支持实际应用程序。由于效率的提高，该模型适用于需要快速响应的实时应用。发布时，Mistral 7B 在所有评估基准中均优于最佳开源 13B 模型 (Llama 2)。能力：Mistral 7B 在各种基准测试中都表现出了卓越的性能，甚至优于参数数量较多的模型。它在数学、代码生成和推理等领域表现出色。以下是数学推理、世界知识和常识推理等多项任务的结果。
Windows本地部署OpenManus并接入Mistral模型的实践记录
weixin_66401877的博客
03-09 4272
最近Manus作为一款强大的本地LLM应用平台引起了广泛关注，但遗憾的是它需要邀请码才能使用，这让很多想尝试的开发者望而却步。令人惊喜的是，OpenManus团队仅用了3小时就复刻了一个功能相似的开源替代方案。这让我非常兴奋，立刻决定尝试在本地部署OpenManus，并搭配Ollama运行的Mistral:latest模型，打造一套完全私有化的AI对话系统。本文将记录我在Windows环境下的完整部署过程，希望能给有类似需求的朋友提供参考。
Ollama 本地部署大模型 | Windows本地部署 Llama3.1 大模型
静愚AGI
07-23 2714
Ollama是一个开源的大型语言模型部署工具，它可以帮助用户快速在本地部署运行大模型。类似于Docker一样，仅仅用几行命令就可以运行一个大模型。”，之后重启ollama，我把下载模型的目录设置在了"D:\ollama"目录下。由于Ollama在下载模型时，会自动下载到C盘，因此需要设置下载目录。Ollama有一套用于运行和管理模型的 REST API。这样就基本完成了Ollama在本地部署大模型。在安装模型之前需要到模型仓库中获取模型信息。剩下的就是通过三方工具开发自己的大模型应用。
Llama3模型+Windows本地运行软件（下载地址）
05-20
下面是Llama3和谷歌Gemma以及法国的Mistral开源版的对比，以及Llama3 70B和gemini和Claude3闭源版的对比。 关于Llama3具体有多牛X，这样的内容我就不写了。网上新闻一大堆！ 我就说说怎么在我们自己的电脑上玩起来...
LLM@本地语言大模型部署工具@ollama等@Gemma@qwen等开源大模型的安装与使用
xuchaoxin1375的博客
02-29 4124
开始安装模型(这里使用的电脑没有GUP太low,所以选择用cpu就可以运行的2b模型(20亿参数),对内存要求也不高,我这里只有约8GB内存)进入docker和退出docker都挺耗时的,需要耐心一些(但是一般也不会超过2分钟,否则就可能是出问题了),毕竟是虚拟机操作。低配电脑还是不要本地大模型了,配置不够,对话体验相当差(慢且乱),还是老老实实用在线大模型吧。安装或更新完毕,会要求重启电脑(对于初次安装使用者,先不要重启,看下一节)2b模型不给力,至少中文方面是这样的,不知道7b的如何。
编程AI深度实战：大模型哪个好？ Mistral vs Qwen vs Deepseek vs Llama
reekyli的专栏
02-04 1952
随着开源 LLM 空间的发展，越来越多的模型变得专业化，“代码”LLM 变得非常流行。这些 LLM 旨在比其 “常识” 对应物更小，但旨在超越更大的通用模型的编码性能。这些模型以极低的成本提供大型模型的功能，进一步使本地 LLM 空间民主化。特别是，在较小的编码 LLM 领域中，有三个模型在竞争中脱颖而出：Codestral 22B、DeepSeek Coder V2 Lite 14B 和 Qwen 2.5 Coder 7B。于 5 月 29 日发布，这是 Mistral 发布的第一款特定代码模型。
AI菜鸟向前飞 — LLM简介
2401_82469710的博客
05-11 1555
AI菜鸟向前飞 — LLM简介
只需三步，手把手带你在本地部署运行大模型
热门推荐
AAI666666的博客
03-04 1万+
在当前的技术环境下，大型语言模型（LLMs）已经成为人工智能领域的一个重要里程碑。
大模型入门：Mistral 大语言模型
Y525698136的博客
09-05 1302
Mistral AI 是一家销售人工智能产品的法国公司。它由 Meta Platforms 和 Google DeepMind 的前员工于 2023 年 4 月创立。该公司于 2023 年 10 月筹集了 3.85 亿欧元，2023 年 12 月估值超过 20 亿美元
CPU上安装ollama和部署开源Llama2-chinese模型
ishanshui的博客
03-01 5539
即使没有GPU显卡，在CPU上借用ollama服务工具，也可以一键体验对话式语言模型。
使用Llama 2大语言模型搭建本地自己的聊天机器人(群晖Docker篇)
weixin_43014359的博客
02-29 3776
随着ChatGPT 和open Sora 的热度剧增,大语言模型时代,开启了AI新篇章,大语言模型的应用非常广泛，包括聊天机器人、智能客服、自动翻译、写作助手等。它们可以根据用户输入的文本生成相应的响应，提供个性化的建议和服务,目前大部分大语言模型的产品都是基于网络线上的,如果我们本地想自己部署一个自己的大语言模型,该如何操作呢,下面介绍一款可以在自己本地部署运行的大语言模型Llama 2。
部署本地大模型-Ollama
ystraw - Come on！！！
05-07 914
参考(Mac/Linux/Win都可以参考下面的教程)：测试环境： 以中文微调过的 7B 模型为例（更多模型可以查看：https://ollama.com/library），下述命令会下载接近 4GB 的 4-bit 量化模型文件，需要至少 8GB 的内存进行推理，推荐配备 16GB 以流畅运行。 测试 使用 run 命令运行模型，可直接将消息附在命令后，或留空进入对话模式，对话模式内置了几个以斜杠引出的命令： 1.直接将消息附在命令后 2.对话模式
『保姆级』大模型教程来了（从入门到实战）
2301_76168381的博客
04-01 5388
在大模型的构建之下，AI自动化交互，将会决定世界的未来，谁的大模型更强大，将决定在遥远的未来的话语权，同时，大模型会成为AI基础设施。AI大模型，正在构建的颠覆力，为了更好的入局AI大模型，🔻 针对ChatGLM大模型，介绍ChatGLM模型微调。🔻 大模型的定义和特点，如预训练、微调、指令学习等。🔻 05 精读大模型-3论文、Instruct论文。🔻 04 GLM-130B训练营——论文泛读。🔻 05 GLM-130B训练营——论文精读。🔻 08 Alpaca训练营——论文精读。
解锁本地大型语言模型：使用 Ollama 运行 LLaMA2 的完整指南
jaioyfpo的博客
10-28 756
Ollama 将模型权重、配置和数据打包成一个单一包，称为 Modelfile，从而优化了GPU的使用和配置细节。开发者可以通过 Ollama 轻松管理和运行复杂的模型。Ollama 是一个强大的工具，适用于在本地运行大型语言模型。通过它与 LangChain 的集成，开发者可以更高效地构建和管理 AI 应用。Ollama 官方文档LangChain 官方指南大型语言模型研究论文。
vllm部署gemma3:27b模型
最新发布
03-20
<think>好的，我现在需要帮助用户了解如何使用vLLM部署GEMMA3 27B模型。首先，我需要确认用户的需求。用户可能已经知道vLLM是一个高效推理和服务框架，想用它来部署较大的模型如GEMMA3 27B。我需要整理相关步骤，并确保信息准确。 首先，查阅vLLM的官方文档，看看是否支持GEMMA模型。根据之前的引用，Gemma是谷歌发布的轻量级开源模型，而vLLM支持多种架构，比如Llama、Mistral等，但需要确认是否适配Gemma的结构。可能需要用户自行验证兼容性，或者是否有社区贡献的支持。 然后，安装vLLM是关键步骤。用户需要安装最新版本的vLLM，可能通过pip或从源码安装。需要注意CUDA版本兼容性，因为vLLM依赖CUDA进行加速。 接下来是模型下载。用户需要从Hugging Face或官方仓库获取GEMMA3 27B的模型文件，确保下载的是支持PyTorch格式的版本。例如，Hugging Face上的模型可能需要转换或直接使用。 编写启动脚本时，需要了解vLLM的启动命令和参数。例如，使用`vllm.entrypoints.api_server`启动API服务，指定模型路径、tensor并行度、端口等。此外，可能需要调整参数如dtype为bfloat16以节省显存，设置gpu_memory_utilization来优化显存使用。 调用服务部分，用户可以通过curl或Python客户端发送请求。需要提供示例代码，展示如何构造请求体，处理响应。同时，可能需要处理授权问题，如果模型需要API token，需在请求头中添加。 在注意事项里，显存需求是一个重点。GEMMA3 27B可能需要多块GPU，比如使用tensor并行度2或4。需要提醒用户检查硬件资源是否足够，以及如何监控显存使用。 此外，用户可能遇到的问题包括模型格式不兼容、CUDA版本不匹配、依赖缺失等。需要建议安装正确的依赖，如特定版本的PyTorch和Transformers库。 最后，生成相关问题，帮助用户进一步了解模型部署的优化、性能监控、量化方法，以及结合其他工具的使用，比如LangChain。这些问题需要覆盖用户可能感兴趣的扩展话题，帮助他们深入应用。 确保回答中所有数学公式和代码符合格式要求，使用中文，结构清晰，引用正确。检查是否有遗漏的步骤或潜在问题，确保用户能够顺利按照指导进行操作。</think>### 使用vLLM部署GEMMA3 27B模型的步骤 #### 1. **环境准备** - 确保GPU驱动、CUDA（>=11.8）和PyTorch（>=2.0）已安装。 - 安装vLLM： ```bash # 从源码安装（推荐） git clone https://github.com/vllm-project/vllm.git cd vllm && pip install -e . # 或直接通过pip安装 pip install vllm ``` #### 2. **下载GEMMA3 27B模型** - 从Hugging Face下载模型权重（需访问权限）： ```bash huggingface-cli download google/gemma-27b --local-dir ./gemma-27b ``` 若模型需要API token，需在Hugging Face账户中申请[^4]。 #### 3. **编写启动脚本** 创建`launch_gemma.py`文件，使用vLLM的API服务器： ```python from vllm.entrypoints import api_server api_server.start_http_server( model="google/gemma-27b", tensor_parallel_size=4, # 根据GPU数量调整（如4块A100） port=8000, dtype="bfloat16", # 显存优化 gpu_memory_utilization=0.9, trust_remote_code=True # 允许加载自定义模型代码 ) ``` #### 4. **启动服务** ```bash python launch_gemma.py ``` 服务启动后，可通过`http://localhost:8000`进行访问。 #### 5. **调用模型API** 使用Python客户端调用： ```python from vllm import LLM, SamplingParams sampling_params = SamplingParams(temperature=0.7, max_tokens=200) llm = LLM(model="google/gemma-27b", tensor_parallel_size=4) prompts = ["请解释量子计算的原理。"] outputs = llm.generate(prompts, sampling_params) for output in outputs: print(output.outputs[0].text) ``` #### 6. **注意事项** - **显存需求**：27B模型需至少4块40GB显存的GPU（如A100-40G），若显存不足可启用`swap_space`参数使用磁盘交换。 - **模型格式**：确保模型目录包含`config.json`和`pytorch_model.bin`文件。 - **授权问题**：若从Hugging Face下载模型时提示需要认证，需在代码中添加`token="YOUR_TOKEN"`参数[^1]。 --- ### 性能优化建议 1. **量化部署**：使用`dtype="float16"`或AWQ量化减少显存占用。 2. **批处理**：通过`batch_size`参数提高吞吐量，例如`api_server(..., max_num_batched_tokens=4096)`。 3. **监控工具**：结合`nvidia-smi`和vLLM内置的Prometheus指标监控显存和吞吐量。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

人工智能研究所

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值