第二十一篇-LM-Studio安装部署gguf模型到windows电脑

已于 2024-02-29 10:14:25 修改
阅读量2.7k 收藏 13
点赞数 7
分类专栏： AI-LLM-实战 文章标签： chatgpt 人工智能 llama
于 2024-02-28 19:53:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hai4321/article/details/136354683
版权
本文详细介绍了如何下载和安装LM-Studio0.2.16，包括下载模型文件、配置参数路径，以及如何在AIChat中运行测试，建议使用GPU处理大模型以获得更好的性能。
摘要由CSDN通过智能技术生成

下载软件

http://lmstudio.ai
LM-Studio-0.2.16-Setup.exe

安装

LM-Studio-0.2.16-Setup.exe
一步一步安装

下载模型

https://hf-mirror.com 下载gguf文件
或
点击左边第二个按钮搜索下载(保证网络“通畅”)

配置参数

如果是自己现在模型，先在MyModels中选择一个目录
再把你下载的模型文件放入，主要要是两层层级(一定是量级目录，不然不识别)
主目录：F:\LLM_Models\GGUF-LIST
模型文件：F:\LLM_Models\GGUF-LIST\TheBloke\Qwen-1_8B-Chat-Int4-GGUF\qwen-1_8b-chat.Q4_0.gguf

运行测试

选择AIChat,"Select a model to load" 选择你要加载的模型，进度条加载完成
可以和它对话了，
右边settings可以配置模板，GPU层数等等，继续研究中

总结

一般CPU,1B 7B 模型，int4量化还是可以用用的，更大模型推荐GPU
木卫二号Coding
关注
  • 7
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
LM Studio：一个桌面应用程序，旨在本地计算机上运行大型语言模型（LLM），它允许用户发现、下载并运行本地LLMs
汽车软件开发
04-19 2133
LM Studio是一个桌面应用程序，旨在本地计算机上运行大型语言模型（LLM）。它允许用户发现、下载并运行本地LLMs，支持在Windows、Linux和Mac等PC端部署2510。LM Studio的安装过程涉及访问其官网并选择相应操作系统的版本进行下载安装。安装成功后，用户可以通过该软件选择并运行心仪的模型，这些模型一般在huggingface上找到，重要因素包括模型的大小或参数量910。
LM Studio windows版本安装
01-10
LM Studio是一款面向开发者的友好工具，特别适合那些想要探索和使用大型语言模型的人。无论是出于专业开发的需要，还是仅仅为了体验和玩转各种API，LM Studio都提供了一个简便、高效的解决方案。 首先，使用LM Studio不需要深厚的技术背景或复杂的安装过程。传统上，本地部署大型语言模型如Lama CPP或GPT-4ALL往往伴随着繁琐的安装步骤和环境配置，这对技术要求极高。然而，LM Studio的出现彻底改变了这一局面。它提供了一个简单的安装程序，用户只需几个简单的步骤就可以轻松安装和运行。
用LM Studio搭建微软的PHI3小型语言模型
weixin_41589183的博客
05-01 1878
微软Phi-3 模型是目前功能最强大、最具成本效益的小型语言模型 （SLM），在各种语言、推理、编码和数学基准测试中优于相同大小和更高大小的模型。此版本扩展了客户高质量模型的选择范围，在客户编写和构建生成式 AI 应用程序时提供了更实用的选择。Phi-3 系列将增加更多型号，以在整个质量成本曲线上为客户提供更大的灵活性。Phi-3-small （7B） 和 Phi-3-medium （14B） 将很快在 Azure AI 模型目录和其他模型园中提供。
LM-Studio无法搜索以及下载失败的问题对策
最新发布
robinfoxnan的专栏
05-31 2508
LM STUDIO 是一个用户加载大模型的工具，内置了很多做好的镜像，搜索并下载就可以在本地运行。但是它更多依赖于一个网站，所以很多人无法直接使用；软件安装很容易，但是我没有找到设置网络的地方，无法施展黑魔法，所以换种办法。
LLM之LM studio：LM studio的简介、安装和使用方法、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-05 9039
​ LLM之LM studio：LM studio的简介、安装和使用方法、案例应用之详细攻略 目录 LM Studio的简介 LM Studio的安装和使用方法 LM Studio的案例应用 LM Studio的简介 LM Studio的口号是发现、下载并运行本地 LLMs。LM Studio 是一款桌面应用程序，可在您的计算机上运行本地大型语言模型（LLMs）。 官网：LM Studio - Discover, download, and run local
LM Studio本地离线部署大语言模型
codelearning的专栏
04-14 3539
使用LM Studio快速体验大模型工具，免除Python环境及众多依赖组件的安装。可以切换不同类型的大语言模型，同时支持在windows、linux、mac等PC端部署。除了UI界面的chat对话使用之外，也可以在本地启动服务器，使用接口进行调试。本地路径查询如下，LM Studio-Mymodel-show in File Explorer。直接使用lmstudio下载模型会失败，本文采用离线部署模式。3.1 访问huggingface官网或镜像站点，下载模型文件。，选择windows版本下载安装。
【AI工具】LM Studio 部署本地llama3以及python调用openai的API与llama3本地服务器进行问答...
cxyhjl的博客
04-23 3355
1. 下载LM Studiohttps://lmstudio.ai/2. 安装后打开主界面3. 下载自己感兴趣的大模型由于网络原因，通过IDM手动下载后拷贝到相应文件夹下点击下载后，左下角点击“ 1 downloading”可以查看详情从详情中提取出模型下载地址然后手动下载，比如“https://huggingface.co/TheBloke/phi-2-GGUF/resolve/main/phi...
训练属于自己的大模型LM Studio使用记录
djl的专栏，blog.djl.cx好记
12-17 5106
可能对回答的结果并不满意, 我们可以点击结果后面的编辑, 更正结果, 多次训练后, ai就回回复我们想要的答案。api使用python调用: https://github.com/openai/openai-python。点击菜单栏倒数第二个图标, 进入api页面;随意设置一个端口号, 启动服务。安装之后打开, 搜索对应大模型, 下载, 举例: baichuan。下载地址: https://lmstudio.ai/点击左侧菜单栏聊天图标, 新建聊天, 输入框输入内容。点击左侧菜单栏文件夹图标进行管理。
LM Studio 无法下载gemma-2b
风之羽
03-18 3045
在LM Studio下载gemma-2b。
好用且简单的本地大模型聊天工具LM Studio
崎山小鹿的专栏
03-02 2125
使用LM Studio 我们就可以很方便的加载各种模型使用了，LM Studio是我目前见到最好用，也是最简单的本地测试AI模型的工具，不需要安装python环境以及众多的组件，加载模型、启用GPU、聊天都非常简单。而且可以切换很多不同类型的大语言模型，同时支持在Windows和MAC上的PC端部署。
PDL.rar_PDL-LM3S_排队 设计_排队模型_排队论
09-21
PDL.rar_PDL-LM3S 是一个关于排队论的资源包，特别针对排队设计和模型的构建，下面将对这一主题进行深入探讨。 首先，我们要理解排队模型的基本概念。在排队论中，一个基本的模型通常由以下几个要素构成：服务台...
第4章：IS-LM模型PPT课件.ppt
12-13
第4章：IS-LM模型
coco-lm-pytorch：在Pytorch中实现COCO-LM，纠正和对比用于语言模型预训练的文本序列
03-03
COCO LM预训练（WIP） 在Pytorch中实现 ，纠正和对比文本序列以进行语言模型预训练。 他们能够以自我监督的方式进行对比学习，以进行语言模型预训练。 似乎是Electra的坚实后继者。安装$ pip install coco-lm-...
货金21-IS-LM模型中的货币政策和财政政策 - Jupyter Notebook.pdf
08-15
第一次修改：货金21-IS-LM模型中的货币政策和财政政策
两种方式解决studio无法下载同步build文件依赖包问题
搬砖的老牛
12-05 1945
解决studio无法下载同步build文件依赖包问题： 1、根据studio提示： 点击show Details可显示如下弹窗： 从上可知，是在链接dl.google.com时候无法链接超时了。 在cmd终端通过ping查看如下： 显示解析的ip和studio里提示的一致，确实无法链接超时了，所以下载不了包也正常。 解析的ip已经是修改后的ip，并且得到了返回...
LM Studio-简化安装和使用开源大模型 | OpenAI API 文字转语音本地运行程序分享
张伟的专栏
02-01 4484
这样既节省了调用API的成本，又能发挥大模型的强大能力。，最近用上了LM Studio，对比Ollama，LM Studio还支持Win端，支持的模型更多，客户端本身就可以多轮对话，而且还支持启动类似OpenAI的API的本地HTTP服务器。实测，dolphin-2.6-mistral 7B模型在我Mac M1 Max 32G的电脑上运行速度很快，生成质量不错，而且dolphin是可以生成NSFW内容的。也就是说，如果你之前做过一些应用，用的是OpenAI API的模型，那现在可以非常方便转成本地模型。
用LM Studio：2分钟在本地免费部署大语言模型，替代ChatGPT
热门推荐
weixin_39108752的博客
01-10 1万+
你想在本地使用类似ChatGPT 的大语言模型么？LM Studio 可以帮你2分钟实现ChatGPT的功能，而且可以切换很多不同类型的大语言模型，同时支持在Windows和MAC上的PC端部署。LM Studio是一款面向开发者的友好工具，特别适合那些想要探索和使用大型语言模型的人。无论是出于专业开发的需要，还是仅仅为了体验和玩转各种API，LM Studio都提供了一个简便、高效的解决方案。使用LM Studio不需要深厚的技术背景或复杂的安装过程。
【AI开发：语言】二、Qwen1.5-7B模型本地部署CPU和GPU版
04-16 2149
Kobold和LM Studio各有千秋吧，一个是简单，另外一个就是功能多。所以在使用的时候我们可以根据自己的需求来选择。
IS-LM模型与AD-AS模型可以分析哪些问题
06-09
IS-LM模型和AD-AS模型都是宏观经济学的基本模型，可以用来分析和解释一些宏观经济问题。 IS-LM模型主要用来分析货币政策和财政政策对经济的影响，包括利率、货币供应量、投资、消费等因素。通过分析IS-LM模型，可以更好地理解货币政策和财政政策对经济的影响，从而制定更有效的宏观经济政策。 AD-AS模型主要用来分析宏观经济波动和通货膨胀等宏观经济问题。通过分析AD-AS模型，可以更好地理解宏观经济波动的原因和机制，从而制定更有效的宏观经济政策，如货币政策、财政政策和结构性政策等。 总的来说，IS-LM模型和AD-AS模型都是宏观经济学分析的基本工具，可以用来分析和解释宏观经济问题，从而指导宏观经济政策的制定和实施。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值