零基础入门AI：一键本地运行各种开源大语言模型 - Ollama

最新推荐文章于 2024-05-25 19:51:09 发布
最新推荐文章于 2024-05-25 19:51:09 发布
阅读量937 收藏 17
点赞数 21
文章标签： 人工智能 语言模型 产品经理 自然语言处理 python 大模型 LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81888214/article/details/139181714
版权

什么是 Ollama？

Ollama 是一个可以在本地部署和管理开源大语言模型的框架，由于它极大的简化了开源大语言模型的安装和配置细节，一经推出就广受好评，目前已在github上获得了46k star。

不管是著名的羊驼系列，还是最新的AI新贵Mistral，等等各种开源大语言模型，都可以用Ollama实现一键安装并运行，支持的更多模型的列表可以查看Ollama官网。

ModelParametersSizeDownload
Llama 27B3.8GBollama run llama2
Mistral7B4.1GBollama run mistral

本文就让我们一起入门Ollama。

如何安装 Ollama框架？

Ollama支持各个平台：Mac、Windows 和 Linux，也提供了docker image。 在Ollama官网或者Github可以下载，然后一键安装Ollama框架：

  • macOS
  • Windows
  • Linux: curl -fsSL https://ollama.com/install.sh | sh

由于Ollama刚支持windows不久，在windows上的相关配置还不够完善，以下我将主要以Linux上运行Ollama来举例说明。

运行 Ollama 服务

在Ollama安装完成后， 一般会自动启动 Ollama 服务，而且会自动设置为开机自启动。安装完成后，可以使用如下命令查看是否Ollama是否正常启动。如下例子中显示“Active: active (running)”表示Ollama已经正常启动。

yaml
复制代码
$ systemctl status ollama
● ollama.service - Ollama Service
     Loaded: loaded (/etc/systemd/system/ollama.service; enabled; vendor preset: enabled)
    Drop-In: /etc/systemd/system/ollama.service.d
             └─environment.conf
     Active: active (running) since Thu 2024-03-07 09:09:39 HKT; 4 days ago
   Main PID: 19975 (ollama)
      Tasks: 29 (limit: 69456)
     Memory: 1.1G
        CPU: 14min 44.702s
     CGroup: /system.slice/ollama.service
             └─19975 /usr/local/bin/ollama serve

在Linux上，如果Ollama未启动，可以用如下命令启动 Ollama 服务：ollama serve，或者 sudo systemctl start ollama。

通过分析Linux的安装脚本install.sh，就会看到其中已经将ollama serve配置为一个系统服务，所以可以使用systemctl来 start / stop ollama进程。

ini
复制代码
    status "Creating ollama systemd service..."
    cat <<EOF | $SUDO tee /etc/systemd/system/ollama.service >/dev/null
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=$BINDIR/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

启动Ollama服务后，可以查看当前的Ollama版本，以及常用命令

sql
复制代码
~$ ollama -v
ollama version is 0.1.20
~$ ollama --help
Large language model runner

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

如何下载并运行大语言模型？

至此，已经完成Ollama框架的安装，接下来，可以用一条命令在本地运行大语言模型。以著名的羊驼举例：ollama run llama2。

如果还没有下载过指定的大语言模型，这条命令将会先执行ollama pull llama2，将大语言模型下载到本地，再在本地运行大语言模型。

下载完成后，运行效果如下：

less
复制代码
:~$ ollama run llama2
>>> who are you?

I am LLaMA, an AI assistant developed by Meta AI that can understand and respond to human input in a conversational manner. I am trained on a massive dataset of text from the internet and can 
generate human-like responses to a wide range of topics and questions. I can be used to create chatbots, virtual assistants, and other applications that require natural language understanding and
generation capabilities.

>>> Send a message (/? for help)

REST API

Ollama还提供了API接口：

vbnet
复制代码
curl http://localhost:11434/api/generate -d '{
  "model": "llama2",
  "prompt":"Why is the sky blue?",
  "stream": false
}'

返回结果如下：

json
复制代码
{
    "model": "llama2",
    "created_at": "2024-02-26T04:35:10.787352404Z",
    "response": "The sky appears blue because of a phenomenon called Rayleigh scattering, which occurs when sunlight enters Earth's atmosphere. The sunlight encounters tiny molecules of gases such as nitrogen and oxygen, which scatter the light in all directions. The shorter wavelengths of light, such as blue and violet, are scattered more than the longer wavelengths, such as red and orange. This is known as Rayleigh scattering, named after Lord Rayleigh, who first described the phenomenon in the late 19th century. As a result of this scattering, the light that reaches our eyes from the sun appears blue, especially when viewed from a distance. The closer we get to the horizon, the more the blue color appears to fade, as the light has to travel through more of the atmosphere, which scatters the shorter wavelengths even more. It's worth noting that the exact shade of blue can vary depending on the time of day and atmospheric conditions. For example, during sunrise and sunset, when the sun is low in the sky, the sky can take on a more orange or red hue due to the scattering of light by atmospheric particles. So, to summarize, the sky appears blue because of the way light interacts with the tiny molecules of gases in Earth's atmosphere, particularly nitrogen and oxygen.",
    "done": true,
    "total_duration": 7001870820,
    "load_duration": 4930376,
    "prompt_eval_duration": 60907000,
    "eval_count": 309,
    "eval_duration": 6931593000
}

使用API接口，就可以实现更多灵活的功能，比如与IDE插件配合，实现本地的编程助手，可参考如下文章： 零基础入门AI：搭建本地的编程助手

FAQ

如何查看运行的日志？

在Linux上运行命令journalctl -u ollama，即可查看运行日志。

如何配置本地大模型对局域网提供服务？

在Linux上创建如下配置文件，并配置环境变量 OLLAMA_HOST 来指定对局域网提供服务的地址，再重启Ollama服务即可。

ini
复制代码
:~$ cat /etc/systemd/system/ollama.service.d/environment.conf
[Service]
Environment=OLLAMA_HOST=0.0.0.0:11434

如此配置后，即可由一台GPU服务器为本地局域网提供大语言模型的服务。

本地有多张GPU，如何用指定的GPU来运行Ollama？

在Linux上创建如下配置文件，并配置环境变量 CUDA_VISIBLE_DEVICES 来指定运行Ollama的GPU，再重启Ollama服务即可。

ini
复制代码
:~$ cat /etc/systemd/system/ollama.service.d/environment.conf
[Service]
Environment=CUDA_VISIBLE_DEVICES=1,2

下载的大模型存储在哪个路径？

默认情况下，不同操作系统存储的路径如下：

  • macOS: ~/.ollama/models
  • Linux: /usr/share/ollama/.ollama/models
  • Windows: C:\Users<username>.ollama\models

如何修改大模型存储的路径？

Linux平台安装Ollama时，默认安装时会创建用户ollama，再将模型文件存储到该用户的目录/usr/share/ollama/.ollama/models。但由于大模型文件往往特别大，有时需要将大模型文件存储到专门的数据盘，此时就需要修改大模型文件的存储路径。

官方提供的方法是设置环境变量“OLLAMA_MODELS”，但我在Linux上尝试后，并没有成功。

分析Linux版的安装脚本install.sh后，我发现是由于其中创建了用户ollama和用户组ollama，然后将大模型存储到了该用户的目录/usr/share/ollama/.ollama/models，而我的帐户对ollama帐户的一些操作并不能生效，即使我再手动将我的帐户添加进ollama用户组，也仍然会有一些权限问题，导致对ollama帐户的目录操作不生效。

由于新建的ollama帐户并没有给我带来额外的便利，最后我用以下步骤来实现修改大模型文件的存储路径：

  1. 修改安装文件 install.sh，取消其中创建用户ollama的步骤，参考如下：

    shell
复制代码
# if ! id ollama >/dev/null 2>&1; then 
    # status "Creating ollama user..." 
    # $SUDO useradd -r -s /bin/false -m -d /usr/share/ollama ollama 
# fi 
# status "Adding current user to ollama group..." 
# $SUDO usermod -a -G ollama $(whoami)

  2. 修改安装文件 install.sh，使用我的帐户来启动ollama服务，参考如下：

    ini
复制代码
    status "Creating ollama systemd service..."
    cat <<EOF | $SUDO tee /etc/systemd/system/ollama.service >/dev/null
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=$BINDIR/ollama serve
User=<myusername>
Group=<myusername>

  3. 修改安装文件 install.sh，添加如下配置中指定环境变量OLLAMA_MODELS指定存储路径，再用此安装文件来安装ollama。

    ini
复制代码
Environment="OLLAMA_MODELS=/home/paco/lab/LLM/ollama/OLLAMA_MODELS"

    或者在安装完成后，创建如下配置文件，并配置环境变量OLLAMA_MODELS来指定存储路径，再重启Ollama服务。

    ini
复制代码
:~$ cat /etc/systemd/system/ollama.service.d/environment.conf
[Service]
Environment=OLLAMA_MODELS=<path>/OLLAMA_MODELS

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。
  • 内容：
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
      - L1.4.1 知识大模型
      - L1.4.2 生产大模型
      - L1.4.3 模型工程方法论
      - L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
  • 内容：
    • L2.1 API接口
      - L2.1.1 OpenAI API接口
      - L2.1.2 Python接口接入
      - L2.1.3 BOT工具类框架
      - L2.1.4 代码示例
    • L2.2 Prompt框架
      - L2.2.1 什么是Prompt
      - L2.2.2 Prompt框架应用现状
      - L2.2.3 基于GPTAS的Prompt框架
      - L2.2.4 Prompt框架与Thought
      - L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
      - L2.3.1 流水线工程的概念
      - L2.3.2 流水线工程的优点
      - L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
  • 内容：
    • L3.1 Agent模型框架
      - L3.1.1 Agent模型框架的设计理念
      - L3.1.2 Agent模型框架的核心组件
      - L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
      - L3.2.1 MetaGPT的基本概念
      - L3.2.2 MetaGPT的工作原理
      - L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
      - L3.3.1 ChatGLM的特点
      - L3.3.2 ChatGLM的开发环境
      - L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
      - L3.4.1 LLAMA的特点
      - L3.4.2 LLAMA的开发环境
      - L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
  • 内容：
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划：

  • 阶段1：1-2个月，建立AI大模型的基础知识体系。
  • 阶段2：2-3个月，专注于API应用开发能力的提升。
  • 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
  • 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

在这里插入图片描述

人工智能小豪
关注
  • 21
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Ollama：本地大模型运行指南
奇舞周刊
04-28 1801
本文作者为 360 奇舞团前端开发工程师Ollama 简介Ollama 是一个基于 Go 语言开发的可以本地运行大模型的开源框架。官网：https://ollama.com/GitHub 地址：https://github.com/ollama/ollamaOllama 安装下载安装 Ollama在 Ollama 官网根据操作系统类型选择对应的安装包，这里选择 macOS 下载安装。安装完在终端输...
ollama 开源大语言模型平台
汽车软件开发
04-18 1668
环境准备：首先，需要提前安装Ollama框架。这是使用Ollama进行模型开发的基础条件38。下载模型：接着，需要下载需要自定义的大语言模型。这一步骤是必要的，因为只有拥有了模型的本地副本，才能对其进行进一步的自定义操作38。运行模型：确保能够成功运行已下载的大语言模型。这意味着需要具备一定的技术能力或知识，以确保模型能够在本地环境中正常运行38。准备system prompt：为了与模型进行交互，需要提前准备一段system prompt。这个提示将指导模型如何响应用户的请求或指令38。
OpenCV安装:最基础的openCV程序运行示例
2301_81940605的博客
12-19 518
OpenCV安装:最基础的openCV程序运行示例
Ollama接入GLM或Baichuan2等本地LLM模型
AIOT魔法师
04-27 1178
下载Ollama二进制文件，直接使用.sh安装网络太卡了，即便是开了代理也卡，故在此使用二进制安装。使用vi往里面输入，在此我用的是Baichuan2 13B Chat，为了保险起见采用绝对路径。由于我系统盘只有20G加载模型时候报错了，因此我做了一个映射（空间够忽略这条）启动Ollama（本终端会一直被占用）新建一个连接终端，跑模型。安装配置Ollama。
本地上百个大模型便携部署调用工具 Ollama 使用指南
数智笔记
04-14 1万+
Ollama 支持在 Modelfile 中导入 GGUF 模型：创建一个名为Modelfile的文件，使用FROM指令指定要导入的模型的本地文件路径。创建模型运行模型可以使用提示来自定义 Ollama 模型。例如，要自定义llama2创建一个Modelfile# 设置温度为 1 [值越高越有创造性，值越低越连贯]# 设置系统消息SYSTEM """""">>> hiHello!更多示例，请参考examples目录。有关使用 Modelfile 的更多信息，请参考Modelfile文档。
Ollama 可以在 Windows 上运行了
热门推荐
engchina的专栏
02-16 1万+
Ollama 可以在 Windows 上运行了
ollama极简三步运行谷歌Gemma-7B
锴笑口常开的博客
02-24 3724
Windows笔记本简单三步运行谷歌最新开源模型Gemma！
学习笔记：从零开始了解AI大模型 - 概念篇：一文带你走进大模型世界
09-20
学习笔记：从零开始了解AI大模型 - 概念篇：一文带你走进大模型世界
学习笔记：从零开始了解AI大模型 - 技术篇：万字深度好文人话说大模型技术
09-20
学习笔记：从零开始了解AI大模型 - 技术篇：万字深度好文人话说大模型技术
ChatGPT-PLUS 基于 AI 大语言模型 API 实现的 AI 助手全套开源解决方案
10-08
ChatGPT-PLUS 基于 AI 大语言模型 API 实现的 AI 助手全套开源解决方案，自带运营管理后台，开箱即用。集成了 OpenAI, Azure, ChatGLM,讯飞星火，文心一言等多个平台的大语言模型。采用 Go + Vue3 + element-plus ...
人工智能开源大型语言模型
09-22
GALLM是一个开源的、支持中英文的双语对话语言模型，基于LLAMA架构。 GALLM 基于 LLAMA 针对中文问答和对话进行了优化。经过约 2T 中文标识符训练，辅以技术监督微调、反馈自助服务和人工反馈强化学习，
智能AI开源模型与大模型接口整理
01-29
8个开源模型（可本地部署）+7个大模型接口 1.说明 1.1 开源模型 1.2 大模型接口 2.开源模型整理 2.1 ChatGLM 2.2 Baichuan 2.3 Qwen 2.4 Yi 2.5 XVERSE 2.6 MOSS 2.7 ChatRWKV 2.8 GPT4All 3.大模型接口...
【LLM】Ollama开发指南
步子哥的博客
03-10 1213
会根据常见CPU类型和矢量计算能力编译几个LLM库的变体,包括一个兼容大多数64位CPU但性能较低的通用版本。发行版软件包通常更可取,但每个发行版的安装步骤可能不同。您的操作系统发行版可能已经提供NVIDIA CUDA软件包。发行版软件包通常更可取,但每个发行版的安装步骤可能不同。通常构建脚本会自动检测CUDA,但是,如果您的Linux发行版或安装方式使用非常规路径,您可以通过设置环境变量。通常构建脚本会自动检测ROCm,但是,如果您的Linux发行版或安装方式使用非常规路径,您可以通过设置环境变量。
Ollama：一个在本地部署、运行大型语言模型的工具
最新发布
积跬步，至千里。
05-25 1203
Ollama是一个开源项目，它专为在本地机器上能便捷部署、以及运行大型语言模型（LLM）而设计的工具。
【深度学习】CUDA_VISIBLE_DEVICES查看
weixin_44001371的博客
10-30 4042
是一个环境变量，用于指定程序将在哪些 GPU 设备上运行。它通常用于控制程序在多个 GPU 设备的系统上的 GPU 使用情况。通过设置，可以限制程序访问的 GPU 设备，以便在多任务或多用户环境中更好地管理和分配 GPU 资源。具体来说，的值是0,1,2。这表示程序将只在索引为 0、1 和 2 的 GPU 设备上运行，而忽略其他 GPU 设备。使用：在多用户或共享 GPU 资源的环境中，可以通过设置以避免冲突和资源争夺。不同的任务可以限制在不同的 GPU 上运行，以确保资源的有效使用。
设置Ollama在局域网中访问的方法（Ubuntu）
qysh123的专栏
04-22 3253
趁着Llama3的热度试了一下Ollama，果然部署推理大模型很有用。一个现实的需求是，如果我们要在局域网中访问Ollama上大模型的服务，应该怎么办呢？参考了一下其他博客的方法。就可以通过局域网或者另一台机子上的LangChain调用了。其次配置防火墙，打开端口。首先打开Ollama的配置文件。
Ollama实现开源大模型本地化安装部署
wangjye99的博客
04-13 2288
本文讲述如何使用ollama实现开源大模型本地化部署，包括ollama和open-webui的安装、大模型的选择和安装、模型测试，以及优化方法。本地化部署允许用户自定义模型，并通过人工标注数据进行微调和强化学习，以提升模型表现。
最新的开源大语言模型
04-09
最新的开源大语言模型是GPT-3（Generative Pre-trained Transformer 3），它是由OpenAI开发的一种基于Transformer架构的自然语言处理模型。GPT-3具有1750亿个参数，是前最大的语言模型之一它通过在大规模文本数据上进行预训练，生成高质量的文本，并且可以于各种自然语言处理任务，如文本生成、机器翻译、对话系统等。 G-3的特点包括： 1. 大规模：GPT-3具有巨大的模型规模，可以处理更复杂、更长的文本任务。 2. 上下文理解：GPT-3能够理解上下文信息，并根据上下文生成连贯的回答。 3. 多样性：GPT-3可以生成多样化的文本，避免了单一答案的限制。 4. 零样本学习：GPT-3可以在没有任何任务特定训练数据的情况下执行各种任务。 然而，请注意，我是CSDN自主开发的C知道助手，并不与OpenAI或GPT-3有任何关系。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值