LLM大模型教程：Ollama 本地CPU部署开源大模型

Ollama可以在本地CPU非常方便地部署许多开源的大模型。如 Facebook的llama3, 谷歌的gemma, 微软的phi3，阿里的qwen2 等模型。

完整支持的模型列表可以参考：https://ollama.com/library

它基于llama.cpp实现，本地CPU推理效率非常高（当然如果有GPU的话，推理效率会更高）, 还可以兼容 openai的接口。

本文将按照如下顺序介绍Ollama的使用方法~

⚫️ 下载安装Ollama

⚫️ 命令行交互

⚫️ python接口交互

⚫️ jupyter魔法命令交互

一，下载安装 Ollama

可以从官网下载Ollama: https://ollama.com/

mac版本的压缩文件大概180M多，正常网速大概下载几分钟就下完了。

支持mac,linux, win 操作系统，跟正常的软件一样安装 。

安装好后就可以在命令行中进行交互了。

以下是一些常用的命令。

代码语言：javascript

ollama run qwen2 #跑qwen2模型，如果本地没有，会先下载

ollama pull llama3 #下载llama3模型到本地

ollama list #查看本地有哪些模型可用

ollama rm #删除本地的某个模型

ollama help #获取帮助

代码语言：javascript

!ollama help

代码语言：javascript

Large language model runner

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

二， 命令行交互

可以在命令行中用 ollama run qwen2 运行一个模型，然后在命令行中和它对话。

下面的gif动画没有做任何加速。这个回复速度还是非常的感人的~

三，Python接口交互

在命令行运行 诸如 ollama run qwen2，实际上就会在后台起了一个qwen2的模型服务。

我们就可以用Python代码和qwen2做交互了。

我们可以选择ollama官方出的 ollama-python的库的接口进行交互，也可以使用openai这个库的接口进行交互。

代码语言：javascript

import subprocess
#后台启动一个qwen2模型服务，相当于 在命令行中运行 `ollama run qwen2`
cmd = ["ollama","run qwen2"]
process = subprocess.Popen(cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE)

1，使用ollama-python 库进行交互

代码语言：javascript

#!pip install ollama

代码语言：javascript

import ollama
response = ollama.chat(model='qwen2',
                       stream=False,
    messages=[{'role': 'user',
            'content': '段子赏析：我已经不是那个当年的穷小子了，我是今年的那个穷小子。'}]
)

代码语言：javascript

print(response['message']['content'])

代码语言：javascript

这个段子通过幽默的方式表达了对于个人经济状况的自嘲和幽默看待。在日常生活中，人们经常会遇到相似的自我调侃，尤其是在讨论个人财务或生活阶段变化时。这段话中的“已经不是当年的穷小子”暗示了过去某个时间点上的经济状况不佳，而“我是今年的那个穷小子”则将当前的情况与过去的困境相比较，强调了现在依然处于类似的经济挑战中。

通过这种自我调侃的方式，人们可以减轻对于自身困境的关注和压力。幽默不仅是一种释放紧张情绪的手段，也是增进人际关系、建立共鸣的有效工具。在面对生活中的不如意时，以轻松幽默的态度去看待问题，不仅可以帮助个人保持乐观的心态，还能够使对话氛围更加和谐有趣。

这样的段子也提醒我们，在追求物质财富的同时，保持内心的平和与对生活的积极态度同样重要。通过分享类似的经历或自我调侃，可以增进人们之间的理解和支持，构建一个更包容、更乐观的社会环境。

代码语言：javascript

2, 使用openai接口交互

代码语言：javascript

#!pip install openai

ollama还支持非常热门的openai接口，简简单单，本地就mock了一个chatgpt。

这样许多基于openai接口开发的工具(如lanchain，pandasai）就可以使用 ollama支持的免费开源模型替代chatgpt了。

我们这里演示其流式输出模式。

代码语言：javascript

from openai import OpenAI
client = OpenAI(
    base_url='http://localhost:11434/v1/',
    api_key='ollama', #实际上本地模型不需要api_key
)

completion = client.chat.completions.create(
    messages=[
        {
            'role': 'user',
            'content': '段子赏析：爱一个人的眼神是藏不住的，爱两个人就一定要藏住。',
        }
    ],
    model='qwen2',
    stream=True  # add this line to enable streaming output
)

代码语言：javascript

from IPython.display import display,clear_output 
response = ""
for chunk in completion:
    response += chunk.choices[0].delta.content
    print(response)
    clear_output(wait=True)

代码语言：javascript

这个段子以幽默的方式探讨了爱情中的微妙之处。它指出当爱一个人时，人们很容易在眼神、言语和行动中流露出这份情感，而这种直接表达是无心之失，却也容易被察觉或误解。

“爱一个人的眼神是藏不住的”，这句话强调了爱情中的热情与自然流露，当我们深爱某人时，哪怕试图掩饰，那份炽热的情感还是会在我们的眼睛里反映出来。这可能是不经意间的微笑、温柔的目光或是无法抗拒的关心与注意。人们往往在无意识中用身体语言表达出自己的感情，尤其是在真正爱一个人的时候。

然而，“爱两个人就一定要藏住”，则可能暗示了对爱情的不同层次或更复杂的考量。这里可能是指，在某些情境下，为了维护关系的平衡、隐私或是避免多头恋等复杂情感关系带来的困扰，需要在行为和表达上更加谨慎或保守。“藏住”可能意味着要控制自己的公开表现、减少与第二个人过于亲密的行为以及降低自己情绪上的直接暴露。

这个段子通过对比单恋情和双恋情在眼神或情感流露方面的不同态度，提出了爱情中的多重考量和策略。它既体现了对直接表达情感的欣赏，也提醒了人们在复杂情感关系中可能需要考虑的因素。

代码语言：javascript

四，jupyter魔法命令交互

就我个人而言，我非常喜欢在jupyter notebook 中开发调试代码。

如果能够在notebook中就直接和ollama交互，并且自动把对话结果加入到history上下文，从而实现多轮对话交互，那是非常的美妙。

通过自定义一个jupyter 魔法命令，我们可以非常方便地实现上述功能。

完整定义代码见notebook源码。

代码语言：javascript

import sys 
class Ollama:
    def __init__(self,
                 model='qwen2',
                 max_chat_rounds=20,
                 stream=True,
                 system=None,
                 history=None
                ):
        ...
             
    @classmethod
    def build_messages(cls,query=None,history=None,system=None):
        ...
        return messages

    def chat(self, messages, stream=True):
        ...
        return completion
        
        
    def __call__(self,query):
        ...
        return response 
    
    def register_magic(self):
        import IPython
        from IPython.core.magic import (Magics, magics_class, line_magic,
                                        cell_magic, line_cell_magic)
        ...
        magic = ChatMagics(ipython,self)
        ipython.register_magics(magic)

代码语言：javascript

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

三、LLM大模型系列视频教程

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。

• 内容：

  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
  • L1.4.1 知识大模型
  • L1.4.2 生产大模型
  • L1.4.3 模型工程方法论
  • L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

• 内容：

  • L2.1 API接口
  • L2.1.1 OpenAI API接口
  • L2.1.2 Python接口接入
  • L2.1.3 BOT工具类框架
  • L2.1.4 代码示例
  • L2.2 Prompt框架
  • L2.3 流水线工程
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

• 内容：

  • L3.1 Agent模型框架
  • L3.2 MetaGPT
  • L3.3 ChatGLM
  • L3.4 LLAMA
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

• 内容：

  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​