LM studio使用gemmar聊天小试

最新推荐文章于 2025-03-15 08:30:00 发布
最新推荐文章于 2025-03-15 08:30:00 发布
阅读量996 收藏 8
点赞数 6
文章标签： gemmar LM studio openai
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fengyu09/article/details/136808476
版权
本文介绍了如何在Windows下通过LMstudio使用Python与OpenAI包进行交互，指出无独立显卡情况下AI推理速度受限，内存需求至少32G。强调了在AI辅助下，提问和问题表述的重要性，比如创作小说时需要人类提供创意。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

通过LM studio可以方便的使用各种模型，使用LM提供的chat界面或者是使用python代码。

试试代码

在windows下使用python简单一试，例子直接复制LM界面上的代码：
在这里插入图片描述

  • 用pip安装 openai包
  • 在LM界面 Start Server

需要安装 openai包。
本地电脑是I7的CPU，但是没有独立显卡，提的问题范围越广，推理越慢，而且很明显看到上32G内存的必要性了。
在这里插入图片描述
在这里插入图片描述
第1次运行，AI给出了俩句子，再后面问它，就不出结果了。

使用chat

需要 Stop Server
在这里插入图片描述
AI 胡乱编了两句话来应付。

所以即使AI横行，也是需要会提问题、描述问题的人；用AI写小说，需要人给它一个好的奇思妙想。

使用 LM Studio 在本地运行 LLM
iCloudEnd的博客
12-31 1550
默认情况下，您的计算机的 CPU 可以完成所有工作，但如果您安装了 GPU，您将在此处看到它。现在，OpenAI 一直对 GPT-4 的“秘密武器”保持沉默，但这将是一个合乎逻辑的考虑，即使不是现在，也肯定是未来。量化越低，量化越多。您可以修改其中的内容以满足您的需要。LM Studio 已检查您的系统，并正在展示您认为可以在您的计算机上运行的模型。许多人面临的障碍是，运行本地法学硕士需要一定的计算机知识，因为通常需要在命令提示符下运行它们，或者使用更复杂的 WebUI 工具（如 Oobabooga）。
本地快速部署谷歌开放模型Gemma教程(基于LMStudio)
特立独行的博客
02-28 2366
谷歌最近发布了新一代开源AI模型Gemma，此次发布的 Gemma 相比自家的 Gemini 更加轻量级，模型权重也一并开源。不仅可以在笔记本电脑上运行，而且还免费可商用，支持中文。运行速度飞快。
好用且简单的本地大模型聊天工具LM Studio
崎山小鹿的专栏
03-02 4061
使用LM Studio 我们就可以很方便的加载各种模型使用了，LM Studio是我目前见到最好用，也是最简单的本地测试AI模型的工具，不需要安装python环境以及众多的组件，加载模型、启用GPU、聊天都非常简单。而且可以切换很多不同类型的大语言模型，同时支持在Windows和MAC上的PC端部署。
【超详细】一文解决 LM Stdio 开启后端服务出错的问题
weixin_74256690的博客
03-03 760
解决方法: 1. 使用更高权限运行程序 在Windows系统中，你可以尝试使用管理员权限来运行程序，这样程序就有足够的权限监听指定端口。在某些情况下，即使你使用的端口不需要特殊权限，也可能被其他程序占用。你可以检查端口占用情况，并关闭占用该端口的程序。 会出现以下情况: 选择没有被排除的范围即可,例如我选择端口 可以看到服务成功启动了,如果还是不行的话那就去看看防火墙配置了防火墙可能会阻止应用程序监听指定端口。你可以检查防火墙设置，确保允许应用程序监听该端口。
用LM Studio：2分钟在本地免费部署大语言模型，替代ChatGPT
weixin_39108752的博客
01-10 1万+
你想在本地使用类似ChatGPT 的大语言模型么？LM Studio 可以帮你2分钟实现ChatGPT的功能，而且可以切换很多不同类型的大语言模型，同时支持在Windows和MAC上的PC端部署。LM Studio是一款面向开发者的友好工具，特别适合那些想要探索和使用大型语言模型的人。无论是出于专业开发的需要，还是仅仅为了体验和玩转各种API，LM Studio都提供了一个简便、高效的解决方案。使用LM Studio不需要深厚的技术背景或复杂的安装过程。
使用LM Studio在本地运行LLM完整教程
deephub
12-17 1万+
打开“Model Configuration”，然后打开“Prompt Format”，向下滚动到“Pre-prompt / System prompt”，选择“>”符号打开。也就是说可以设定希望机器人如何行动，以及在它的回答中应该提供什么“技能”或其他特定的品质。对许多人来说，运行本地LLM需要一点计算机知识，因为它通常需要在命令提示符中运行它们，或者使用更复杂的web工具，如Oobabooga。点击左边的一个模型，右边就会显示可用的版本，并显示那些根据你的电脑规格应该可以工作的模型(#2)。
5分钟手把手系列(二)：本地部署Graphrag（Pycharm+Ollama+LM Studio）
m0_65555479的博客
09-14 2585
通过搭建GraphRAG本地demo后，笔者通过少量的文本内容（三国演义第一章），初略对比了一下传统RAG方案与GraphRAG方案，基于少量文本内容而言，GraphRAG的效果还是符合其宣传内容的，后续更严谨的测试还是需要海量数据的进行验证。希望本文能帮助到对GraphRAG有兴趣的朋友，毕竟读万卷书不如行万里路，看再多的理论介绍，不如自己亲自去动手验证一把来的实在~
探索LM Studio：本地运行大型语言模型的利器
chen的博客
05-16 3641
LM Studio是一款革命性的桌面应用程序，它允许用户在自己的计算机上本地运行、管理和部署大型语言模型。这款软件的目标是让大型语言模型更加亲民，让它们的力量可以被更广泛地利用。LM Studio的出现，极大地降低了使用大型语言模型的门槛。无论是研究人员、开发者还是普通用户，都可以利用这款工具来发挥语言模型的潜力。随着人工智能技术的不断进步，LM Studio有望成为本地部署和管理大型语言模型的标准工具。
【AIGC】保姆级教程：LM Studio 本地部署 DeepSeek R1 大模型的全流程实战指南
十一逐星的博客
02-11 2650
随着大语言模型的快速发展，本地部署开源模型变得越来越受欢迎。本文将详细介绍如何使用 LM Studio 在本地部署 DeepSeek R1 大模型，为读者提供一个完整的实战指南。通过本文的指南，读者应该能够成功在本地部署和使用 DeepSeek R1 模型。随着实践经验的积累，可以进一步优化配置参数，提升模型性能。如遇到问题，可参考常见问题解决方案或查阅官方文档。
手把手带你本地部署大模型
epitomizelu的专栏
07-09 4072
这篇文章的唯一目的是实现在本地运行大模型，我们使用LMStudio这个工具协助达成这个目标。
LM Studio本地部署大模型，CPU就能玩的本地模型-亲测成功
yinjl123456的博客
01-23 7167
LM Studio 是一款功能强大、易于使用的桌面应用程序，用于在本地机器上实验和评估大型语言模型（LLMs）。
解决LM Studio部署DeepSeek 1.5B无法调用GPU的问题
lwxmnb123的博客
02-08 6121
通过调整NVIDIA控制面板的3D设置，可以轻松解决LM Studio部署DeepSeek 1.5B时无法调用GPU的问题。这种方法不仅适用于DeepSeek 1.5B，还可以用于其他需要GPU加速的大模型部署场景。希望本文的解决方案能够帮助你充分利用硬件资源，提升模型推理的效率！如果你有其他问题或需要进一步的帮助，欢迎在评论区留言讨论！
本地LLM部署--LM Studio 初探秘
热门推荐
qq_43819568的博客
12-26 1万+
LM Studio提供了一个灵活、强大的平台，支持本地部署和微调LLM，适合对数据隐私要求较高的用户。未来可能增加更多本地化应用，如语音识别、视频分析等，随着硬件加速技术的发展，LM Studio的性能有望进一步提升，未来将支持更多的模型和插件，使得平台的适应性更强。它支持离线运行模型，并提供直观的界面，方便用户进行文本生成、模型微调和文档交互。LM Studio适合有一定技术背景的开发者和企业，特别是在数据隐私、模型微调和离线应用场景中具有独特的优势。
大模型实操与API调用 | 四十三、使用LM Studio部署模型
Androiddddd的博客
08-13 3016
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频，免费分享！
lm studio 报错及设置记录
2301_79171118的博客
02-06 3787
记录一下安装deepseek过程中遇到的问题。
训练属于自己的大模型LM Studio使用记录
djl的专栏，blog.djl.cx好记
12-17 9922
可能对回答的结果并不满意, 我们可以点击结果后面的编辑, 更正结果, 多次训练后, ai就回回复我们想要的答案。api使用python调用: https://github.com/openai/openai-python。点击菜单栏倒数第二个图标, 进入api页面;随意设置一个端口号, 启动服务。安装之后打开, 搜索对应大模型, 下载, 举例: baichuan。下载地址: https://lmstudio.ai/点击左侧菜单栏聊天图标, 新建聊天, 输入框输入内容。点击左侧菜单栏文件夹图标进行管理。
使用 Ollama 本地运行各种 LLM
python123456_的博客
05-31 1191
今天看看另外一个产品Ollama。Ollama 的安装非常简单，只需从官网（https://ollama.com/download）下载后解压缩，并在 Terminal 中运行脚本即可完成环境设置。我尝试运行 Llama3，虽然在运行时占用了大量电脑资源，使得其他应用运行变慢，但整体体验尚可。Ollama 支持多种大型语言模型（https://ollama.com/library）。
大模型本地化部署：搭建本地大模型之LM Studio（附教程）
最新发布
DEVELOPERAA的博客
03-15 2555
大模型本地化部署：搭建本地大模型之LM Studio（附教程）
lm studio使用
12-31
### 如何使用 LM Studio #### 环境搭建与安装准备 为了顺利使用 LM Studio，需先完成环境配置工作。这包括确认计算机满足最低硬件需求以及安装必要的软件依赖项[^3]。 #### 模型选取及下载步骤 LM Studio 支持多种预训练模型的选择和加载。对于希望利用 Llama 3.1 的用户来说，在启动平台之后应前往官方仓库挑选合适的版本并按照指引完成下载过程[^2]。 #### 本地运行与交互实操 一旦模型成功部署到本地环境中，就可以通过 LM Studio 提供的直观界面来进行参数调整、输入测试数据等操作来观察模型的表现情况。此过程中还可以保存会话记录以便后续分析或重复执行特定任务时调用之前的结果作为参考依据[^1]。 ```python # 示例代码展示如何连接已加载的语言模型进行简单对话交流 from lm_studio import ModelSession session = ModelSession(model_name="Llama_3.1") response = session.query(prompt="你好世界!") print(response.text) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

容沁风

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值