本地快速私有化部署和运行大语言模型

ollama 是一个快速部署和运行大语言模型的开源工具，https://ollama.com/。通过它可以在终端与大语言模型交互，而且安装非常的简单，支持非常多的模型，并且可以随意切换模型， 支持模型地址：https://ollama.com/library
如果你想使用LLM模型但是又不想暴露你的私人数据到公网，不放试一试这个方法。

以下是在 WSL 中安装它的过程

执行安装命令

curl -fsSL https://ollama.com/install.sh | sh

这样就安装好了。

使用

使用 命令 ollama -h 看看有哪些参数

(base) hayden@hayden ~$ ollama -h``Large language model runner``   ``Usage:`  `ollama [flags]`  `ollama [command]``   ``Available Commands:`  `serve       Start ollama`  `create      Create a model from a Modelfile`  `show        Show information for a model`  `run         Run a model`  `pull        Pull a model from a registry`  `push        Push a model to a registry`  `list        List models`  `cp          Copy a model`  `rm          Remove a model`  `help        Help about any command``   ``Flags:`  `-h, --help      help for ollama`  `-v, --version   Show version information``   ``Use "ollama [command] --help" for more information about a command.

在命令帮助信息中可以看到可以使用 serve 启动它，

接着我们来启动它：

(base) hayden@hayden ~$ ollama serve                                                                  127 ↵``Couldn't find '/home/hayden/.ollama/id_ed25519'. Generating new private key.

然后打开另一个窗口， 接着 从 https://ollama.com/library 中选一个模型 拉到本地跑，以 llama2 为例

(base) hayden@hayden ~$ ollama run llama2``pulling manifest``pulling 8934d96d3f08... 100% ▕██████████████████████████████████████████████▏ 3.8 GB``pulling 8c17c2ebb0ea... 100% ▕██████████████████████████████████████████████▏ 7.0 KB``pulling 7c23fb36d801... 100% ▕██████████████████████████████████████████████▏ 4.8 KB``pulling 2e0493f67d0c... 100% ▕██████████████████████████████████████████████▏   59 B``pulling fa304d675061... 100% ▕██████████████████████████████████████████████▏   91 B``pulling 42ba7f8a01dd... 100% ▕██████████████████████████████████████████████▏  557 B``verifying sha256 digest``writing manifest``removing any unused layers``success``>>> Send a message (/? for help)

这样 llama2 模型就跑起来了，现在就可以在本地与 llama2 交互了。

这里我问了一句 what is you name 模型对问题做出了回答。我们也可以在写代码的时候让它帮助我们写一段代码。

>>> what is you name``I'm just an AI, I don't have a personal name. My purpose is to assist and provide helpful responses to``users like you, so please feel free to call me by any name you like!``   ``>>> Send a message (/? for help)

接着可以用 list 命令看看本地安装了哪些模型

(base) hayden@hayden ~$ ollama list``NAME            ID              SIZE    MODIFIED``llama2:latest   78e26419b446    3.8 GB  About a minute ag

我这里显示只安装了一个 llama2 模型，模型的大小是3.8GB。
需要注意 github 上面有介绍运行不同大小参数的模型对内存的要求不一样：
Note: You should have at least 8 GB of RAM available to run the 7B models, 16 GB to run the 13B models, and 32 GB to run the 33B models.

在选择模型的时候需要考虑一下你本地运行的机器的内存是否满足运行这个模型的要求，运行 7B 的模型需要至少 8 GB的内存， 运行 13B 的模型至少需要 16 GB的内存，运行 33B 的模型至少需要 32 GB 的内存。

最后如果不想继续使用某个模型，可以使用 rm 删掉以节省磁盘空间

(base) hayden@hayden ~$ ollama rm llama2

如果您觉得本文章对您有帮助，可以帮忙关注一下本公共号。

那么，如何系统的去学习大模型LLM？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

篇幅有限，部分资料如下：

👉LLM大模型学习指南+路线汇总👈

💥大模型入门要点，扫盲必看！

💥既然要系统的学习大模型，那么学习路线是必不可少的，这份路线能帮助你快速梳理知识，形成自己的体系。

👉大模型入门实战训练👈

💥光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉国内企业大模型落地应用案例👈

💥《中国大模型落地应用案例集》 收录了52个优秀的大模型落地应用案例，这些案例覆盖了金融、医疗、教育、交通、制造等众多领域，无论是对于大模型技术的研究者，还是对于希望了解大模型技术在实际业务中如何应用的业内人士，都具有很高的参考价值。 （文末领取）

💥《2024大模型行业应用十大典范案例集》 汇集了文化、医药、IT、钢铁、航空、企业服务等行业在大模型应用领域的典范案例。

👉LLM大模型学习视频👈

💥观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。 （文末领取）

👉640份大模型行业报告👈

💥包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

👉获取方式：

这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓