大模型开源项目：Ollama让你的电脑也可以轻松运行大模型（附教程）

本文链接：https://blog.csdn.net/2301_81888214/article/details/146235951

从OPEN AI推出大模型已经过去一年多了，想必大家已经感受到了AI对我们的影响。大型模型极具用途，其提升的准确性和处理更复杂任务的能力都令人赞叹。然而，本地运行这些模型却一直是一项艰巨的任务。运行这些模型需要大量的计算资源，而且数据存储需求往往超过了一般个人设备所能提供的。

此外，设置、配置和维护这些模型的过程可能复杂且耗时。同样，解决兼容性问题，排错和调试也会让用户在利用这些模型进行他们的研究或项目时望而却步。虽然很早就有了开源大模型，我也一直跃跃欲试，但是苦于没有英伟达的显卡，所以一直没能本地运行。

但现在，有了一个解决方案 - 一项名为Ollama的开源项目。Ollama简化了实现大型模型的过程。借助Ollama，曾经令人畏惧的本地运行这些模型的任务变得轻而易举。它精简了整个过程，消除了与这些大型模型相关的设置和维护的复杂性。关键是不需要显卡，只使用CPU就可以运行。因此，有了Ollama，无论用户的技术栈或资源如何，大型模型的力量现在都已触手可及。

获取Ollama

Ollama下载地址，推荐第一个，一般都能下载。 ollama.com/download 如果你像研究源码，到下面的地址，部分人无法访问。 github.com/ollama/olla…

安装使用

下载window版安装后运行就可以打开命令行。

输入以下命令

arduino
ollama run llama2

后就开始下载llama2模型，3.8G。下载完成后就自动运行大模型了，你可以直接在命令行和它对话。

我的使用记录如下。

llama2模型使用日志

less

Welcome to Ollama!

Run your first model:

        ollama run llama2

(base) PS C:\Windows\System32> ollama run llama2
pulling manifest
pulling 8934d96d3f08... 100% ▕████████████████████████████████████████████████████████▏ 3.8 GB
pulling 8c17c2ebb0ea... 100% ▕████████████████████████████████████████████████████████▏ 7.0 KB
pulling 7c23fb36d801... 100% ▕████████████████████████████████████████████████████████▏ 4.8 KB
pulling 2e0493f67d0c... 100% ▕████████████████████████████████████████████████████████▏   59 B
pulling fa304d675061... 100% ▕████████████████████████████████████████████████████████▏   91 B
pulling 42ba7f8a01dd... 100% ▕████████████████████████████████████████████████████████▏  557 B
verifying sha256 digest
writing manifest
removing any unused layers
success
>>> /?
Available Commands:
  /set            Set session variables
  /show           Show model information
  /load <model>   Load a session or model
  /save <model>   Save your current session
  /bye            Exit
  /?, /help       Help for a command
  /? shortcuts    Help for keyboard shortcuts

Use """ to begin a multi-line message.

>>> who are you
I'm just an AI assistant trained by Meta AI, my primary function is to assist users with their inquiries and
provide information on a wide range of topics. I'm here to help answer any questions you may have, so feel free to
ask me anything! Is there something specific you would like to know or discuss?

>>> /show
Available Commands:
  /show info         Show details for this model
  /show license      Show model license
  /show modelfile    Show Modelfile for this model
  /show parameters   Show parameters for this model
  /show system       Show system message
  /show template     Show prompt template

切换模型

还有其他可用模型，可以在github页面查看。所有模型列表看这里 ollama.com/library

例如，我使用下面命令运行gemma模型：

arduino
ollama run gemma

首次运行会先下载，模型，不过下载速度很快，几分钟。以后再运行就不用了。我的使用记录如下。

Gemma模型使用日志

sql
C:\Users\weiyo>ollama
Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

C:\Users\weiyo>ollama run gemma
pulling manifest
pulling 456402914e83... 100% ▕████████████████████████████████████████████████████████▏ 5.2 GB
pulling 097a36493f71... 100% ▕████████████████████████████████████████████████████████▏ 8.4 KB
pulling 109037bec39c... 100% ▕████████████████████████████████████████████████████████▏  136 B
pulling 22a838ceb7fb... 100% ▕████████████████████████████████████████████████████████▏   84 B
pulling a443857c4317... 100% ▕████████████████████████████████████████████████████████▏  483 B
verifying sha256 digest
writing manifest
removing any unused layers
success
>>> how are you
I am an AI language model, so I don't have feelings or emotions. However, I am here to help you with your queries
and provide you with information. Is there anything I can assist you with today?

其他注意事项

安装程序把ollama安装在用户文件夹。安装后以后只需要运行程序，就可以在命令行使用ollama命令，启动模型使用了。

输入 /help可以获取帮助。使用Ctrl+D可以退出当前模型对话。

ollama支持本地restful api调用，以后可以研究以下。 github.com/ollama/olla…

每次下载的模型会默认保存到用户文件夹下，例如：

makefile
C:\Users\用户文件夹.ollama\models\blobs

ollama是命令行使用的。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望