本地部署 llama3 大模型-有手就行

最新推荐文章于 2024-09-17 17:15:00 发布

大模型芭乐

最新推荐文章于 2024-09-17 17:15:00 发布

阅读量701

点赞数 13

文章标签： pdf 职场和发展人工智能 langchain 机器人

本文链接：https://blog.csdn.net/ytt0523_com/article/details/140669159

版权

在 chatGPT 的推动下。LLM 简直火出天际，各行各业都在蹭。听说最近 meta 开源的 llama3 模型可以轻松在普通 PC 上运行，这让我也忍不住来蹭一层。以下是使用 ollama 试玩 llama3 的一些记录。

什么是 llama

LLaMA（Large Language Model Meta AI）是Meta开发的大规模预训练语言模型，基于Transformer架构，具有强大的自然语言处理能力。它在文本生成、问答系统、机器翻译等任务中表现出色。LLaMA模型有多个规模，从几亿到上千亿参数，适用于不同的应用场景。用户可以通过开源平台如Hugging Face获取LLaMA模型，并根据需要进行微调。LLaMA的灵活性和可扩展性使其在自然语言处理领域具有广泛的应用前景。

什么是 ollama

Ollama是一款用于本地安装和管理大规模预训练语言模型的工具。它简化了模型的下载、安装和使用流程，支持多种流行的模型如GPT-4和llama。Ollama通过易于使用的命令行界面和API，帮助用户快速部署和运行自然语言处理任务。它还支持多GPU配置和模型微调，适应各种计算资源和应用需求。总之，Ollama为研究人员和开发者提供了一个高效、灵活的本地化大模型解决方案。

下载 ollama

ollama 官网提供了各种平台的安装包，那么这里选择 windows 系统的。以下是下载地址：https://ollama.com/download

在 windows 上安装

在 windows 上安装那简直太简单了，一路 next 就行了。
安装成功后可以在命令行下执行

ollama -v

如果能成功打印出版本信息，那么说明你安装成功了。

下载模型并运行

安装好 ollama 之后我们需要把训练好的模型拉到本地，然后才能运行它。

查找模型

ollama 提供了一个页面供用户查询可以使用的开源模型。

https://ollama.com/search?q=&p=1

可以看到主流的开源 LLM 几乎都能找到。什么 llama3 啊，phi3 啊，国产的 qwen2 啊。让我们点击 llama3 看看详情。

里面可以选模型的参数大小。这里我们选 8b 试一下。模型大小是 4.7 GB。复制右上角的命令并在命令行运行：

ollama run llama3:8b

程序会开始下载模型到本地。这里得夸一下，ollama 是不是在国内接了 CDN，这速度杠杆的，直接跑满了我的千兆网络。

对话

下载完成后命令行就会跳转到对话模型，等待你输入问题。随便先来一个吧。
Q:飞机为什么会飞？ A: balabala 一大堆，都是英文。Q: what is SOLID principle?
A:

总结

到这，我们本地运行大模型基本上是初步成功了。简直超级无敌简单，属于有手就行。问题就是本地限制于PC的性能，回答的速度比较慢，大概一秒2-3个单词。CPU大概吃掉50%。当然如果你有 N 卡可能会好很多。内存倒是还好才吃了300多M。好了，下一次我们来试试 open-webui，把本地的模型搞的跟 chatGPT 一样。

那么，如何系统的去学习大模型LLM？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套《LLM大模型入门+进阶学习资源包》，扫码获取~

篇幅有限，部分资料如下：

👉LLM大模型学习指南+路线汇总👈

💥大模型入门要点，扫盲必看！
在这里插入图片描述
💥既然要系统的学习大模型，那么学习路线是必不可少的，这份路线能帮助你快速梳理知识，形成自己的体系。

👉大模型入门实战训练👈

💥光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述

👉国内企业大模型落地应用案例👈

💥《中国大模型落地应用案例集》 收录了52个优秀的大模型落地应用案例，这些案例覆盖了金融、医疗、教育、交通、制造等众多领域，无论是对于大模型技术的研究者，还是对于希望了解大模型技术在实际业务中如何应用的业内人士，都具有很高的参考价值。 （文末领取）
在这里插入图片描述
💥《2024大模型行业应用十大典范案例集》 汇集了文化、医药、IT、钢铁、航空、企业服务等行业在大模型应用领域的典范案例。