本地快速部署谷歌开放模型Gemma教程(基于LMStudio)

已于 2024-03-05 16:19:30 修改
阅读量1.5k 收藏 14
点赞数 14
分类专栏： 实践教程合集 文章标签： google gemma lmstudio LLM
于 2024-02-28 22:13:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44008788/article/details/136345595
版权

本地快速部署谷歌开放模型Gemma教程（基于LMStudio）

一、介绍 Gemma

在这里插入图片描述
Gemma是一系列轻量级、最先进的开放式模型，采用与创建Gemini模型相同的研究和技术而构建。可以直接运行在本地的电脑上，无GPU也可以运行，只用CPU即可，只不过速度慢点。

二、部署 Gemma

2.1 部署工具

使用 Windows 环境 + LM Studio + Mix Copilot 二个工具部署Gemma，LM Studio 用来运行模型，Mix Copilot 用于可视化操作使用。

LM Studio：https://lmstudio.ai/

LM Studio 是一个发现、下载和运行本地LLMs的软件

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Just_Paranoid
关注
  • 14
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
本地快速部署谷歌开放模型Gemma教程(基于Ollama)
特立独行的博客
02-28 4442
谷歌最近发布了新一代开源AI模型Gemma，此次发布的 Gemma 相比自家的 Gemini 更加轻量级，模型权重也一并开源。不仅可以在笔记本电脑上运行，而且还免费可商用，支持中文。运行速度飞快。
《AI大模型》--使用nextjs本地化部署AI大模型gemma.zip
03-22
人工智能学习总结成果，希望可以帮到大家，有疑问欢迎随时沟通~ 人工智能学习总结成果，希望可以帮到大家，有疑问欢迎随时沟通~ 人工智能学习总结成果，希望可以帮到大家，有疑问欢迎随时沟通~ 人工智能学习总结成果，希望可以帮到大家，有疑问欢迎随时沟通~ 人工智能学习总结成果，希望可以帮到大家，有疑问欢迎随时沟通~
macOS、Windows、Linux、Docker等各个平台通过ollama一键部署谷歌最新开源的gemma大模型，免费开源离线部署使用超越llama2、chatgpt4
代码讲故事
02-23 3639
macOS、Windows、Linux、Docker等各个平台通过ollama一键部署谷歌最新开源的gemma大模型，免费开源离线部署使用超越chatgpt4。谷歌最强开源大模型亮相！Gemini技术下放，笔记本就能跑，可商用。
谷歌发布史上最强开源大模型Gemma，性能超Llama-2，笔记本也能跑
图灵教育
02-23 154
这两天 AI 界真是超级热闹，前有 Open AI 扔出 Sora 炸弹，如今 Google 在没有任何预告的情况下开源了全新大模型 Gemma。此次发布的 Gemma 相比自家的 Gemini 更加轻量级，模型权重也一并开源。不仅可以在笔记本电脑上运行，而且还免费可商用，支持中文。看来很多创业公司已经开始两眼发光了。还不知道 Gemma 是啥的，可以跟着我们来了解一下。Gemma 是一个轻量级、...
训练属于自己的大模型LM Studio使用记录
djl的专栏，blog.djl.cx好记
12-17 4432
可能对回答的结果并不满意, 我们可以点击结果后面的编辑, 更正结果, 多次训练后, ai就回回复我们想要的答案。api使用python调用: https://github.com/openai/openai-python。点击菜单栏倒数第二个图标, 进入api页面;随意设置一个端口号, 启动服务。安装之后打开, 搜索对应大模型, 下载, 举例: baichuan。下载地址: https://lmstudio.ai/点击左侧菜单栏聊天图标, 新建聊天, 输入框输入内容。点击左侧菜单栏文件夹图标进行管理。
使用LM Studio在本地运行LLM完整教程
deephub
12-17 8895
打开“Model Configuration”，然后打开“Prompt Format”，向下滚动到“Pre-prompt / System prompt”，选择“>”符号打开。也就是说可以设定希望机器人如何行动，以及在它的回答中应该提供什么“技能”或其他特定的品质。对许多人来说，运行本地LLM需要一点计算机知识，因为它通常需要在命令提示符中运行它们，或者使用更复杂的web工具，如Oobabooga。点击左边的一个模型，右边就会显示可用的版本，并显示那些根据你的电脑规格应该可以工作的模型(#2)。
本地快速部署谷歌开放模型Gemma教程(基于WasmEdge)
特立独行的博客
02-29 1672
谷歌最近发布了新一代开源AI模型Gemma，此次发布的 Gemma 相比自家的 Gemini 更加轻量级，模型权重也一并开源。不仅可以在笔记本电脑上运行，而且还免费可商用，支持中文。运行速度飞快。
windows环境下在家用笔记本电脑本地部署并微调Gemma全流程记录
elephantbang的博客
03-01 2262
根据硬件条件可以调整 --quantization_bit 4/8/fp16等不同量化等级，也可以调整batchsize。使用lora微调，构建自己的数据集时可按照instruction-input-output的方式构建数据集，具体格式可以参考。在LLama-Factory文件夹下运行.\train.bat脚本即可完成lora微调。导出权重，测试操作同训练，在LLama-Factory文件夹下创建相应脚本运行即可。对windows系统，我们需要写一个.bat文件，而不是官方的.sh脚本。
笔记本电脑部署本地离线版类似ChatGPT3.5的AI模型（CPU+内存运行）
热门推荐
tantu666的博客
04-24 1万+
Vicuna号称"小羊驼"，Vicuna是基于ShareGPT的7万条对话数据对LLaMA微调的模型，13b模型的效果据说可达到ChatGPT3.5 92%的效果，部分问答的评分甚至超过了ChatGPT3.5。里面vicuna-13B-1.1-GPTQ-4bit-32g.GGML.bin和vicuna-13B-1.1-GPTQ-4bit-128g.GGML.bin。下载哪个都可以，我用的是vicuna-13B-1.1-GPTQ-4bit-128g.GGML.bin。
gemma.cpp windows已编译好 exe
02-28
gemma.cpp是一个轻量级的、独立的C++推理引擎，用于Gemma Google的基础模型。 Gemma 可使用模型库2b、2b-it、7b、7b-it、等 gemma.exe windows 已编译可直接运行执行 gemma.exe --tokenizer "F:\gemma.cpp\7b\tokenizer.spm" --compressed_weights "F:\gemma.cpp\7b\7b-it-sfp.sbs" --model "7b-it"
算法部署-基于C++推理Google-Gemma模型-轻量级实现-附项目源码+详细流程介绍-优质项目实战.zip
05-16
算法部署_基于C++推理Google-Gemma模型_轻量级实现_附项目源码+详细流程介绍_优质项目实战
Google开源大模型gemma技术报告
03-10
Gemma 基于 Google 的 Gemini 模型，通过在高达 6 万亿词块的文本上进行训练，展现了卓越的通用性和先进的理解与推理能力。该模型系列包括两种规模：70 亿参数模型和 20 亿参数模型，分别针对不同的部署需求和计算...
Llama3模型+Windows本地运行软件（下载地址）
最新发布
05-20
下面是Llama3和谷歌Gemma以及法国的Mistral开源版的对比，以及Llama3 70B和gemini和Claude3闭源版的对比。 关于Llama3具体有多牛X，这样的内容我就不写了。网上新闻一大堆！ 我就说说怎么在我们自己的电脑上玩起来...
谷歌宣布推出了一款新的 AI 语言模型系列 - Gemma
04-19
谷歌宣布推出了一款新的 AI 语言模型系列 —— Gemma。...不同于 Gemini，Gemma 模型可以在个人电脑上本地运行，这是自 OpenAI 的 ChatGPT 在 2022 年引发 AI 聊天机器人热潮以来，谷歌首次发布的重要开源 LLM
从Hugging Face上手动下载并加载预训练模型
续起大胡子
11-21 1988
从 Hugging Face 上手动下载并加载预训练模型
一行命令运行 Google 的开源模型 Gemma
engchina的专栏
02-23 909
本地一行命令运行 Google 的开源模型 Gemma
用LM Studio：2分钟在本地免费部署大语言模型，替代ChatGPT
weixin_39108752的博客
01-10 8506
你想在本地使用类似ChatGPT 的大语言模型么？LM Studio 可以帮你2分钟实现ChatGPT的功能，而且可以切换很多不同类型的大语言模型，同时支持在Windows和MAC上的PC端部署。LM Studio是一款面向开发者的友好工具，特别适合那些想要探索和使用大型语言模型的人。无论是出于专业开发的需要，还是仅仅为了体验和玩转各种API，LM Studio都提供了一个简便、高效的解决方案。使用LM Studio不需要深厚的技术背景或复杂的安装过程。
gwas脚本
06-02
GWAS（全基因组关联分析）是一种用于研究基因与表型之间关系的方法。在进行GWAS之前，需要进行数据清洗、质控、基因型分型和表型数据收集等工作。在数据准备好后，可以使用一些开源软件和脚本进行GWAS分析，如PLINK、GEMMA、EIGENSOFT等。 以下是一个基于PLINK软件的GWAS分析脚本示例： ``` # 数据清洗和质控 plink --file mydata --geno 0.05 --maf 0.01 --hwe 1e-6 --mind 0.05 --out mydata_filtered # 进行基因型和表型数据的关联分析 plink --file mydata_filtered --assoc --adjust --out mydata_assoc # 进行基因型和表型数据的线性回归分析 plink --file mydata_filtered --linear --pheno myphenotype.txt --covar mycovariate.txt --out mydata_linear # 进行基因型和表型数据的logistic回归分析 plink --file mydata_filtered --logistic --pheno myphenotype.txt --covar mycovariate.txt --out mydata_logistic ``` 以上脚本中，`mydata`是输入的原始数据，`mydata_filtered`是清洗和质控后的数据，`mydata_assoc`是进行关联分析后的结果，`mydata_linear`和`mydata_logistic`分别是进行线性回归和logistic回归分析后的结果。在运行脚本前需要保证PLINK软件已经安装并配置好环境变量。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值