没有网络限制！超简单本地部署 Llama3 的方法

LLM教程

已于 2024-10-25 13:56:18 修改

阅读量1.6k

点赞数 19

文章标签：人工智能大模型深度学习私有化部署本地化部署 LLM AI大模型

于 2024-10-21 16:57:05 首次发布

本文链接：https://blog.csdn.net/AAI666666/article/details/143116938

版权

我们利用 LM Studio 这款软件来可视化部署 Llama3。

官网地址

选择好对应的操作系统下载安装包，在下载好之后进行安装。在安装好之后我们就可以打开软件并使用了：

我们在中间的输入框部分输入 llama 来搜索并安装 llama 系列的模型，不过在进行搜索时会发现搜索功能失效了：

查阅了一下资料发现是收 hc 的影响导致的：

社区也给出了解决方案：

也就是说如果要搜 Llama3，那么直接搜 lmstudio-community，而如果要搜 Phi，那就搜 microsoft：

不过虽然解决了搜索的问题，但对于大多数小伙伴来说也依然有诸多限制，最大的限制就是网络问题，因为国内无法正常从 Hugging Face 上拉取模型，好多小伙伴可能在这一步就被 block 住了。今天三金给大家介绍一种魔改的方法，通过 hf 镜像站来做到即使在国内也能正常搜索并下载模型！！

MacOS 系统

我们打开「访达-应用程序-LM Studio」，然后右击 LM Studio 程序，在二级菜单中选中「显示包内容」：

然后我们将里面的文件夹使用 VS Code 或者任意一款编辑器打开：

如上图，以 VS Code 为例：

我们点击编辑器左侧的搜索
然后在第一个输入框中输入 huggingface.co，这会将 LM Studio 程序中所有使用到 huggingface.co链接的地方都搜索出来
紧接着我们在第二个输入框中输入 hf 的镜像网站地址 hf-mirror.com，这表示我们将要把所有匹配到的内容都替换为镜像站点的网址
最后点击右侧的替换按钮进行替换

完成上述四步之后，我们重启 LM Studio 就可以在国内正常进行搜索和下载模型了

Windows 系统

流程都是一样的，唯一的不同就是文件的存储位置。

在 Windows 系统上安装 LM Studio 时不能指定目录，只会安装到 C:\Users/[你的 Windows 电脑用户名]\AppData\LM-Studio
进入到这个目录之后可以看到你下载的 LM Studio 程序都包含哪些文件，我们以 0.2.21 版本为例，在当前目录下应该会有一个 app-0.2.21的文件夹
通过 VS Code 打开这个文件夹，然后执行之前说的四个步骤将里面的 huggingface.co 都替换成 hf-mirror.com 即可
重启 LM Studio 就可以正常使用了

选择本地模型开始对话

当我们下载好模型之后，就可以：

点击 LM Studio 左侧菜单中的 AI Chat
选择刚刚下载好的模型
开始对话！！

我们先让它来介绍一下自己：

生成回答的速度很快，就是语言还是英文，不过没关系，我们只要让它使用中文回答就可以了：

并且它写代码也贼快：

注意

大家在选择模型时，一定要考虑好自己的电脑配置，尤其是 GPU 不太行的电脑，最好不要安装一下子就跑满甚至跑超 CPU 的模型，这样对电脑本身的损耗是非常大的！！

可以通过在 AI Chat 中「选择模型下拉框」左边展示 CPU 的部分来监控使用模型时 CPU 的使用率，如果太大的话建议立即停止，或者通过降低模型精度和分块等方式来减少计算要求。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望