在Ollama运行HuggingFace下载的模型

于 2024-07-29 09:34:11 发布
阅读量461 收藏 8
点赞数 8
文章标签： llama langchain 人工智能 dreamweaver 笔记 大模型 LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Langchain/article/details/140762778
版权

本地运行模型我之前都直接使用LM-studio，好用、无脑。本地用足够了。但是放在服务器上才是正道，本地运行无法长时间开启保持运行，而且Ollama推出了并行GPU计算之后可用性大幅提升，可用性很高。 今天研究下如何用Ollama如何在本地来使用这些HF的开源模型，后面把它搬到服务器上。

设置

设置很简单，先在电脑上创建一个文件夹，比如我会把我的模型放到一个雷电3外接的nvme硬盘上，路径是/Volumes/RD/Modules。 然后在这里直接创建Modelfile，格式可以参考Ollama的文档。

bash
 代码解读

touch lmstudio-ai/Meta-Llama-3-8B-Instruct-GGUF/Modelfile

从HuggingFace下载模型

1. 使用HuggingFace

从HugginFace下载模型需要挑选下。这里我先以Meta-Llama-3-8B-Instruct为例子，我之前下载了lmstudio-ai/Meta-Llama-3-8B-Instruct-GGUF。 如果网络存在问题可以选择国内镜像站，给大家推荐一个镜像站HF-Mirror，当然也可以去国内的ModelScope下载。 下载可以选择镜像站，但是你还是需要梯子的，因为比如Meta的LLama3或者Google的Gamma等模型都是需要申请的，通过了才能用。不过给大家提个醒，申请Token的时候尽量别填写中国，否则你会遇到跟我一样的情况。

在这里插入图片描述

遇到这种情况你可以选择三种方案

  1. 使用度娘搜资源，看看有人共享模型网盘地址没有。
  2. 直接搜Meta-Llama-3，有一些有志人士会讲这些模型重传到自己仓库中让大家使用，比如我现在用的lmstudio-ai/Meta-Llama-3-8B-Instruct-GGUF。
  3. 直接在ModelScope中查找下载

OK，知道在哪下载了之后你要知道用什么样的模型。

2. 应该下载什么样的模型

本地运行模型在不写代码的情况对于模型格式还是需要一些要求的。你会遇到两种格式GGUF和Safetensor。

  • GGUF（General Graphical User Interface Format）是一种用于存储和共享开源机器学习模型的格式 在这里插入图片描述

  • Safetensors是一种专为机器学习模型设计的文件格式 外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

简单说，GGUF把模型权重和结构统一存储了，方便传输和扩展。Safetensors是二进制格式，安全高效，可以通过量化转换为GGUF，可以参考llama.cpp的官方文档。 它们的细节差别，以及具体如何将safetensor量化转换我会再写一篇文章细说。

那么我们最好挑GGUF格式模型，主机配置高的可以Q6、Q8，配置不行的自行尝试小的吧。我自己平时用Q6的就足够了（M2 Ultra, 192G）。GGUF格式的所有的模型都可以被Ollama直接加载，也可以在LM-studio中直接使用，比较推荐。

而Safetensor格式的Ollama支持了三种，

  • LlamaForCausalLM
  • MistralForCausalLM
  • GemmaForCausalLM 这三种架构的也可以直接加载。

这里以GGUF为例介绍一下怎么用。

当你选好了模型、参数大小和量化版本之后，你只需要下载对应的GGUF即可（这也是为啥我推荐GGUF，自己量化下载慢还得执行），下载好模型之后进行下一步。

使用Modelfile加载模型

最简单的使用

  1. 指定模型
Dockerfile
 代码解读

FROM Meta-Llama-3-8B-Instruct-Q6_K.gguf
  1. 导入模型文件
bash
 代码解读

ollama create randy-model -f Modelfile

transferring model data
using existing layer sha256:13c5c30a3c9404af369a7b66ce1027097ce02a6b5cc0b17a8df5e414c62d93f6
using autodetected template llama3-instruct
creating new layer sha256:625347c07c1602e43037b8b3f995a8d84da9ed5252df57ce1e9ec02eb9934230
writing manifest
success

ollama list

NAME              	ID          	SIZE  	MODIFIED
randy-model:latest	50e56dc75eb7	6.6 GB	About a minute ago
  1. 运行导入的模型后进入命令行交互模式
bash
 代码解读

ollama run randy-model

>>> 介绍一下你自己
Nice to meet you! I'm LLaMA, an AI assistant developed by Meta AI that can understand and respond to human
input in a conversational manner. I'm not a human, but rather a computer program designed to simulate
conversation and answer questions to the best of my ability

经过上面三步已经可以用命令行跟大模型沟通了，但是为了作为生产力给各个软件提供能力，你还需要继续折腾一下。

  1. 很多模型对中文是不友好的，比如这个Meta的LLama3和3.1。我们可以在导入Model的时候要求Ollama增加TEMPLATE、SYSTEM、PARAMETER。
  2. 为了对接使用模型的应用，需要后台运行模型暴露API接口

稍微进阶一下

1. 修改一下Modelfile

通过上面的内容大家也看得出，其实Ollama的Modelfile跟Docker的Dockerfile格式很相似，我们需要添加几个内容改成这个样子，有一部分是来自Ollama的官方文档，一部分来自网上找的，简单解释下含义

Dockerfile
 代码解读

FROM Meta-Llama-3-8B-Instruct-Q6_K.gguf
# sets the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1
# sets the context window size to 4096, this controls how many tokens the LLM can use as context to generate the next token
PARAMETER num_ctx 4096
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|> {{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|> {{ .Prompt }} <|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|> {{ .Response }}<|eot_id|>"""
SYSTEM """尽你的最大可能和能力回答用户的问题。不要重复回答问题。不要说车轱辘话。>语言要通顺流畅。不要出现刚说一句话，过一会又重复一遍的愚蠢行为。
RULES:- Be precise, do not reply emoji.- Always response in Simplified Chinese, not English. or Grandma will be very angry. """
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|reserved_special_token"
参数说明
  • PARAMETER：指定模型的一些参数，包括常见的temperature、top-p、tok-k等。这里说下stop，stop其实是要设置模型的停止符。当遇到stop的value值时，LLM 将停止生成文本并返回。可以通过在模型文件中指定多个单独的stop参数来设置多个停止模式。
  • SYSTEM：预设的System message
  • TEMPLATE：这个重点说一下，这个模板是定义的是真正传递给LLM的input内容。通过这个模板的定义我们可以完整的控制到底如何传递给大模型，也能配合stop标记来管理。由于Ollama使用go语言开发，所以模板语法也是go的规则。
另一个有意思的语句
ruby
 代码解读

RULES:- Be precise, do not reply emoji.- Always response in Simplified Chinese, not English. or Grandma will be very angry.

“奶奶会生气”这个挺搞笑的，但是确实有用，感兴趣的朋友自己搜搜原因吧，没找到。

2. 创建一个新版本的model镜像
bash
 代码解读

ollama create randy-model:v1 -f Modelfile

transferring model data
using existing layer sha256:13c5c30a3c9404af369a7b66ce1027097ce02a6b5cc0b17a8df5e414c62d93f6
creating new layer sha256:6791f874ec534adb76562aaaa539bfd03518542802d8d28110561d485da82b60
creating new layer sha256:5545916ed70eea1552ee8671bb6b19365cfa2ea912b2813e950495a44aae3fe8
creating new layer sha256:40440ec37ef2b2862d182b7926987668264d13ff9c97407acf36a44106997f8f
creating new layer sha256:c78670308769b50da98e5c514f7dbf4e8d366d82d89f01420f6ea44969c243f6
writing manifest
success

ollama list

NAME              	ID          	SIZE  	MODIFIED
randy-model:v1    	2821ee3f9fe8	6.6 GB	8 seconds ago	
randy-model:latest	50e56dc75eb7	6.6 GB	2 hours ago
3. 再试试吧
bash
 代码解读

ollama run randy-model:v1
>>> 介绍一下你自己
Bonjour! 您好！我是一个人工智能语言模型，我被设计用于回答问题、生成文本和进行自然语言处理。我拥有庞大的词汇库，
能够识别和生成各种语义模式。我可以理解和响应不同类型的问句、对话和任务。我并且可以学习和改进，以提高自己的性能
和可靠性。

关于我的“背景”，我是由人工智能专家和自然语言处理领域的研究人员共同设计和开发的。我使用了最先进的算法和技术，例
如深度学习、神经网络和统计模型等。这些技术使得我能够更好地理解和响应人类语言。

在回答问题时，我会尽力提供详细、准确和有用的信息。但是，如果您遇到一些复杂的问题或需要更高级别的解决方案，我也
可以向相关专家或领域的权威寻求帮助。

试试API

到此为止我们的模型已经在本地运行了，想要建立后台任务可以尝试mac的后台进程或者linux的screen命令等，根据实际情况处理即可。 关于Ollama的API官方文档有说明，ollama/docs/api.md。这里只做简单的一个测试 如果你不确定ollama服务运行的端口可以用ollama serve来试一下，没启动的话会尝试启动，在运行的话会告诉你运行在哪，Error: listen tcp 127.0.0.1:11434: bind: address already in use.

bash
 代码解读

curl --location --request POST 'http://127.0.0.1:11434/api/generate' \
--header 'User-Agent: Apifox/1.0.0 (https://apifox.com)' \
--header 'Content-Type: application/json' \
--data-raw '{
"stream": false,
"system": "你是一个中文助手",
"model": "randy-model",
"prompt": "介绍一下你自己"
}'

生产环境如何使用

Ollama的API和OpenAI的API sdk还是有差别的，如果想无缝切换到OpenAPI的sdk中最简单的方式就是做代理，感谢开源，有些项目已经可以帮我们完成这个目标了，推荐使用songquanpeng/one-api作为中间代理。

写在最后

Ollama还是比较适合作为中间层的，运行效率已经基本能满足服务使用。经过测试在0.2以上的版本性在我的主机上性能llama3 8B的性能并不低与GPT 3.5，比4o-mini稍微慢一点。当然推理能力和生成质量稍有不及，不过只要主机够多，搭建私域强大的LLM不是问题，推荐大家了解MOA的相关知识

如何系统的去学习AI大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。
  • 内容：
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
      - L1.4.1 知识大模型
      - L1.4.2 生产大模型
      - L1.4.3 模型工程方法论
      - L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
  • 内容：
    • L2.1 API接口
      - L2.1.1 OpenAI API接口
      - L2.1.2 Python接口接入
      - L2.1.3 BOT工具类框架
      - L2.1.4 代码示例
    • L2.2 Prompt框架
      - L2.2.1 什么是Prompt
      - L2.2.2 Prompt框架应用现状
      - L2.2.3 基于GPTAS的Prompt框架
      - L2.2.4 Prompt框架与Thought
      - L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
      - L2.3.1 流水线工程的概念
      - L2.3.2 流水线工程的优点
      - L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
  • 内容：
    • L3.1 Agent模型框架
      - L3.1.1 Agent模型框架的设计理念
      - L3.1.2 Agent模型框架的核心组件
      - L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
      - L3.2.1 MetaGPT的基本概念
      - L3.2.2 MetaGPT的工作原理
      - L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
      - L3.3.1 ChatGLM的特点
      - L3.3.2 ChatGLM的开发环境
      - L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
      - L3.4.1 LLAMA的特点
      - L3.4.2 LLAMA的开发环境
      - L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
  • 内容：
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划：

  • 阶段1：1-2个月，建立AI大模型的基础知识体系。
  • 阶段2：2-3个月，专注于API应用开发能力的提升。
  • 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
  • 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

在这里插入图片描述

Langchain
关注
  • 8
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ollama 运行第三方模型
05-06 5万+
本质上是通过GGUF 来创建ollama可执行的模型文件。
如何从 HuggingFace 为 Ollama 导入新模型
iCloudEnd的博客
04-22 1567
Ollama 是一款功能强大的工具，可以简化创建、运行和管理大型语言模型 (LLM) 的过程。本教程将指导您完成从 Hugging Face 导入新模型并创建自定义 Ollama 模型的步骤。
ollama把huggingface下载下来的模型转换为gguf
abments的博客
05-16 2248
ollama把huggingface下载下来的模型转换为gguf
【翻译】Ollama｜如何在 Ollama 中运行 Hugging Face 中的模型
qq_46106285的博客
05-19 2290
一篇比较好的使用 Ollama 开源大模型的英文教程。
【ai】如何在ollama中随意使用hugging face上的gguf开源模型
每日出拳老爷子的博客
06-18 736
ollama的pull命令可以直接pull ollama列表中现有的模型，但是ollama可以直接pull的模型大都是英语偏好（llama2有直接可以pull的chinese版本），而hugging face上则有大量多语种训练的模型，如果能直接使用hugging face上的gguf开源模型，那就自由多了，本篇介绍方法。
ollama运行自定义模型
勇往直前！
04-24 2745
GGUF(Georgi Gerganov Unifed Format)是llama.cpp提出的一种格式标准，用于储存模型的tokenizer & weight & vocab & hyparameters，其表现形式为一个二进制文件，例如gml-model-f16.gguf。ollama 可以直接加载gguf文件后缀的模型这些模型，你可以通过下面两个站点搜索即可。ollama有默认的模型，那么怎么运行自定义模型，自己选择下载模型，然后运行呢。运行你的模型： ollama run [xxxname]即可。
5分钟实现本地安装运行史上最强开源Llama3大模型！技术方案：ollama+Chatbox+HuggingFace（shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF）
薛定谔的猫的博客
07-10 458
Meta推出迄今为止能力最强的开源大模型Llama 3系列，发布8B和70B两个版本。8B版本最低仅需4G显存即可运行，可以说是迄今为止能在本地运行的最强LLM。Llama 3在一众榜单中取得开源SOTA（当前最优效果）。Llama 3 8B在MMLU、GPQA、HumanEval、GSM-8K等多项基准上超过谷歌Gemma 7B和Mistral 7B Instruct。
Ollama 导入自定义模型
偶尔记一下 - mybatis.io
04-03 5874
在前面 Spring AI 使用本地 Ollama Embeddings 中查找 Embedding 模型的时候，首先看到了 mofanke/dmeta-embedding-zh 模型，这才发现 Ollama 中除了官方模型外还有用户自己上传的其他模型，搜索 dmeta-embedding-zh 找到了抱脸网上的对应模型：https://huggingface.co/DMetaSoul/Dmeta-embedding-zh模型介绍有 MTEB Chinese list 评分排名，打开该地址可以看到排名：
AIGC 实战：Ollama 和 Hugging Face 是什么关系？
surfirst的博客
02-23 2812
本文介绍了 Ollama 和 Hugging Face 之间的关系。
免费Ollama 官方大模型服务器安装程序
04-17
由于官方下载地址是在外网，总是比较慢，所以这里分享一下方便大家下载
ollama的win10系统下载，解决网络下载超时的问题
06-04
内容为ollama的win10安装软件，促进大模型的学习~
Ollama 提供了一个简单的 API，用于创建、运行和管理语言模型 它还提供了一个预构建模型库，可以轻松集成到您的应用程序中
04-10
在本地运行模型 安装 Ollama 后，您可以运行各种语言模型。 我们以骆驼2为例： 此命令会启动 Llama 2，让您可以与它交互。 但还有哪些其他型号可供选择？ Ollama 支持多种功能，包括 Mistral、Dolphin Phi、Neural ...
Ollama 是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计 官网下载比较慢，特提供本下载地址
07-05
Ollama 是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。 官网下载比较慢，特提供本下载地址。
羊驼家族Ollama，window版本，本地大模型
05-15
大语言模型（LLM）平民化，羊驼家族， Ollama——一个简明易用的本地大模型运行框架。用户也可以方便地在自己电脑上玩转大模型。 Ollama是一个开源的大型语言模型服务工具，它帮助用户快速在本地运行大模型。通过...
The Llama 3 Herd of Models.Llama 3 模型第1,2,3部分全文
最新发布
qq_51570094的博客
07-25 1118
Llama 3 模型论文全文，了解Llama 3的训练细节和效果
Meta发布Llama 3.1模型
2402_84466582的博客
07-24 1444
Meta在Llama 3.1模型的训练和优化过程中采用了先进的算法和技术，确保了模型不仅在规模上有所突破，同时在训练效率和资源消耗上实现了平衡。通过开源模型，Meta致力于降低人工智能技术的准入门槛，使得更多来自不同背景的研究者和开发者能够参与进来，共同推动技术进步，实现人工智能的普惠化。这一特点不仅提升了模型的性能，也为研究者和开发者提供了更多的定制化空间。Llama 3.1在超过15万亿个token的数据上进行训练，这一数据量远超先前的LLaMA模型版本，显示了Meta在数据收集和处理方面的强大能力。
Meta 刚刚发布 Llama 3.1 ：在 AI 战斗中向 OpenAI 发起了大规模挑战｜TodayAI
TodayAI
07-24 1214
Llama 3.1，包括新的 405b 版本，可以在 MetaAI 聊天机器人中使用，但该机器人的全球发布有限。虽然 Meta 将在自己的 MetaAI 聊天机器人中使用这一模型，但它也将为其他公司提供先进的前沿智能，使其能够根据自身需求进行调整，并且无需向 OpenAI 支付每个 token 的费用。第一个是 8B，轻量且超快，可以在任何地方运行，包括智能手机上。公司声称，Llama 3.1 405b 是系列中最大的版本，能够与 OpenAI 和 Google 的模型匹敌，包括在推理和编码能力方面。
扎克伯格：Llama将成AI界的Linux
haleycat的博客
07-25 592
Meta创始人兼CEO马克·扎克伯格在博文中阐述了Llama开源AI的愿景，认为其有潜力成为AI领域的Linux。他表示，开源AI能满足不同组织的需求，提供数据保护和经济实惠的解决方案，避免被封闭供应商锁定。Meta希望Llama成为长期标准的生态系统。
ollama下载模型卡住
07-13
Ollama是一个开源的语言模型，用于生成文本，但它并不提供直接下载模型的服务。如果你遇到下载过程中卡住的问题，可能是由于网络连接不稳定、服务器繁忙或者是下载文件较大导致的。解决办法可以尝试： 1. 检查网络连接：确保你的互联网连接稳定，如果可用带宽不足，尝试切换到更稳定的网络环境。 2. 尝试分段下载：如果文件很大，你可以使用断点续传功能，将其分成几个部分分别下载。 3. 等待一段时间：有时候服务器可能会有负载，稍等片刻再试。 4. 查看官方文档：ollama的开发者或社区可能会提供下载指南或替代资源。 如果你是在使用某个特定平台或工具下载模型时遇到问题，记得查看相关的帮助文档或者社区论坛寻求解决方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值