Llama + Dify，在你的电脑搭建一套AI工作流

最新推荐文章于 2024-09-19 20:02:47 发布
最新推荐文章于 2024-09-19 20:02:47 发布
阅读量1k 收藏 11
点赞数 21
文章标签： llama 人工智能 数据库 langchain 安全 web安全 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoganbuaiuk/article/details/141156361
版权

本文简介

最近字节在推Coze，你可以在这个平台制作知识库、制作工作流，生成一个具有特定领域知识的智能体。

那么，有没有可能在本地也部署一套这个东西呢？这样敏感数据就不会泄露了，断网的时候也能使用AI。

刚好最近 Llama 3.1 发布了，本文就以 Llama 3.1 作为基础模型，配合 Dify 在本地搭建一套“Coze”。

跟着本文一步步操作，保证能行！

Dify是什么？

Dify 官网(difyai.com/) 的自我介绍：Dify 是开源的 LLM 应用开发平台。提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力，轻松构建和运营生成式 AI 原生应用。比 LangChain 更易用。

动手搭建

在本地搭建这个平台很简单，其实 Dify文档(docs.dify.ai/v/zh-hans) 里都写得明明白白了，而且还有中文文档。

具体来说需要做以下几步：

  1. 安装 Ollama
  2. 下载大模型
  3. 安装 Docker
  4. 克隆 Dify 源代码至本地
  5. 启动 Dify
  6. 配置模型

接下来一步步操作。

安装 Ollama

简单来说 Ollama 是运行大语言模型的环境，这是 Ollama 的官网地址 （ollama.com/ ），打开它，点击 Download 按钮下载 Ollama 客户端，然后傻瓜式安装即可(一直点“下一步”)。

安装完成后就能看到一个羊驼的图标，点击运行它即可。

下载大模型

安装完 Ollama 后，我们到 Ollama 官网的模型页面(ollama.com/library)挑选一下模型。

这里面有很多开源模型，比如阿里的千问2，搜索 qwen2 就能找到它。

本文使用 Llama 3.1 ，这是前两天才发布的模型，纸面参数贼强。

打开 Llama 3.1 模型的地址(ollama.com/library/lla…)，根据你需求选择合适的版本，我选的是 8b 版。

选好版本后，复制上图右侧红框的命令，到你电脑的终端中运行。

如果你还没下载过这个模型它就会自动下载，如果已经下载过它就会运行这个模型。

运行后，你就可以在终端和大模型对话了。

当然，我们不会这么原始的在终端和大模型对话，我们可是要搞工作流的！

安装 Docker

前面的基础步骤都搞掂了，接下来就要开始为运行 Dify 做准备了。

先安装一下 Docker ，打开 Docker 官网(www.docker.com/)，根据你系统下载对应的安装包，然后还是傻瓜式安装即可。

克隆 Dify 源代码至本地

要使用 Dify ，首先要将它拉到你电脑里。

git clone https://github.com/langgenius/dify.git

在你电脑里找个位置（目录），用 git 将 Dify 克隆下来，用上面这条命令克隆就可以了。

启动 Dify

进入 Dify 源代码的 docker 目录，执行一键启动命令：

cd dify/docker
cp .env.example .env
docker compose up -d

启动完成后，你的 docker 里就会看到这个

此时你在浏览器输入 http://localhost 就能看到这个界面。

首次打开 Dify 需要你设置一下管理员的账号。

然后用管理员账号登录，可以看到下面这个页面。

点击“创建空白应用”就可以创建聊天助手、文本生成应用、Agent、工作流。

我们点击"工作流"就能看到类似Coze的工作流编辑界面了。

配置模型

在配置工作流之前，我们需要给 Dify 配置大语言模型。

点击页面右上角的管理员头像，然后选择“设置”。

选择“模型供应商”，然后点击“Ollama”的卡片添加模型。

在添加 Ollama 模型时，弹窗的左下角有一个“如何继承 Ollama”的按钮，点击它会跳转到 Dify 官方文档教你怎么配置，但这里可能会有个小坑。

前面我们已经使用 Ollama 把 Llama 3.1 运行起来了，在浏览器打开 `http://localhost:11434 看到这个界面证明模型运行成功。

此时在“添加 Ollama”将资料填写好，“基础 URL”里输入 http://localhost:11434 即可。

如果你是 Mac 电脑，填入以上资料有可能会报这个错：

An error occurred during credentials validation: HTTPConnectionPool(host='localhost', port=11434): Max retries exceeded with url: /api/chat (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0xffff5e310af0>: Failed to establish a new connection: [Errno 111] Connection refused'))

此时你需要在“基础 URL”里填入 http://host.docker.internal:11434。

遇到问题可以看 Dify 官方文档的 FAQ。

添加完成后你就可以在模型列表里看到它了。

除了接入 Ollama 外，Dify 还支持接入 OpenAI 等闭源模型，但需要你去 OpenAI 那边买个服务。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓
在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。
  • 内容：
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
      - L1.4.1 知识大模型
      - L1.4.2 生产大模型
      - L1.4.3 模型工程方法论
      - L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
  • 内容：
    • L2.1 API接口
      - L2.1.1 OpenAI API接口
      - L2.1.2 Python接口接入
      - L2.1.3 BOT工具类框架
      - L2.1.4 代码示例
    • L2.2 Prompt框架
      - L2.2.1 什么是Prompt
      - L2.2.2 Prompt框架应用现状
      - L2.2.3 基于GPTAS的Prompt框架
      - L2.2.4 Prompt框架与Thought
      - L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
      - L2.3.1 流水线工程的概念
      - L2.3.2 流水线工程的优点
      - L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
  • 内容：
    • L3.1 Agent模型框架
      - L3.1.1 Agent模型框架的设计理念
      - L3.1.2 Agent模型框架的核心组件
      - L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
      - L3.2.1 MetaGPT的基本概念
      - L3.2.2 MetaGPT的工作原理
      - L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
      - L3.3.1 ChatGLM的特点
      - L3.3.2 ChatGLM的开发环境
      - L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
      - L3.4.1 LLAMA的特点
      - L3.4.2 LLAMA的开发环境
      - L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
  • 内容：
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划：

  • 阶段1：1-2个月，建立AI大模型的基础知识体系。
  • 阶段2：2-3个月，专注于API应用开发能力的提升。
  • 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
  • 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

在这里插入图片描述

小敢摘葡萄
关注
AIAgent工作流开源框架：Kubeflow
AI天才研究院
05-06 951
1. 背景介绍 1.1 人工智能浪潮下的挑战 近年来，人工智能技术迅猛发展，各行各业纷纷将其应用于实际场景中。然而，随着AI模型复杂度的不断提升，训练和部署AI模型的难度也随之增加。传统的开发流程往往需要大量的手动操作，效率低下且容易出错。
Dify.ai：部署自己的 AI 应用、知识库机器人，简单易用
weixin_68987230的博客
09-07 210
Dify.ai 是一个易于使用的 LLMOps 平台，旨在帮助更多的人创建可持续的、AI 原生的应用。通过对各种应用类型的可视化编排，Dify 提供了开箱即用的应用，也可以作为后端即服务（Backend-as-a-Service）API。使用一个 API 集成插件和数据集，使用一个界面进行及时的工程操作、可视化分析和持续改进，统一你的开发流程。[1]
一文彻底搞懂大模型 - Dify（Agent + RAG）
最新发布
m0_59163425的博客
09-19 1万+
该平台结合了后端即服务（Backend as Service, BaaS）和LLMOps的理念，为开发者提供了。
Dify.AI：简单易用的 LLMOps 平台，可视化创造和运营你的 AI 原生应用
Dify
05-16 1万+
Dify.AI是一款 LLMOps 平台，帮助开发者更简单、更快速地构建 AI 应用。它的核心理念是通过可声明式的 YAML 文件定义 AI 应用的各个方面，包括 Prompt、上下文和插件等。Dify 提供了可视化的 Prompt 编排、运营、数据集管理等功能。这些功能使得开发者能够在数天内完成 AI 应用的开发，或将 LLM 快速集成到现有应用中，并进行持续运营和改进，创造一个真正有价值的 AI 应用。
RAG+AI工作流+Agent：LLM框架该如何选择，全面对比MaxKB、Dify、FastGPT、RagFlow、Anything-LLM,以及更多推荐
丨汀、的博客
07-30 4037
RAG+AI工作流+Agent：LLM框架该如何选择，全面对比MaxKB、Dify、FastGPT、RagFlow、Anything-LLM,以及更多推荐
无缝融入，即刻智能[一]：Dify-LLM大模型平台，零编码集成嵌入第三方系统，42K+星标见证专属智能方案
丨汀、的博客
08-12 1825
无缝融入，即刻智能[一]：Dify-LLM大模型平台，零编码集成嵌入第三方系统，42K+星标见证专属智能方案
Xinference实战指南：全面解析LLM大模型部署流程，携手Dify打造高效AI应用实践案例，加速AI项目落地进程
丨汀、的博客
08-16 1642
Xinference实战指南：全面解析LLM大模型部署流程，携手Dify打造高效AI应用实践案例，加速AI项目落地进程
如何在本地正确部署Dify服务
Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
08-06 1108
本文是该专栏的第49篇，后面会持续分享python的各种干货知识。Dify是一个开源的LLM（大型语言模型）应用开发平台，旨在为开发者提供从Agent构建到AI workflow编排、RAG检索、模型管理等全方位的能力，从而轻松构建和运营生成式AI原生应用。在本文中，笔者将针对Dify的核心知识点以及“本地如何部署Dify”，进行详细说明。具体细节部分，笔者在正文将结合实际完整图文案例进行详细说明，一文让你轻松学会在本地部署Dify。废话不多说，下面跟着笔者直接往下看正文详细内容。（附完整操作以及本地部署D
LLM大模型部署实战指南：Ollama部署简化流程，OpenLLM灵活部署，LocalAI本地优化，Dify赋能应用开发【含ollama详细部署指南多版本】
丨汀、的博客
08-13 1320
LLM大模型部署实战指南：Ollama简化流程，OpenLLM灵活部署，LocalAI本地优化，Dify赋能应用开发
Dify-生成式 AI 应用创新引擎，本地搭建以及使用
我码玄黄的博客
07-29 849
`Dify` 可以说就是界面化的 `LangChain`，从构建到发布一个聊天程序，完全脱离了编码，并且灵活的使用了各种 `api` 和工具。
Dify自带的长故事生成器工作流
NLP工程化
07-27 1046
本文主要简要的介绍了Dify自带的长故事生成器工作流的实践过程，尤其是迭代节点和代码节点的灵活组合，可以让Dify工作流如虎添翼。当工作流执行结束后，可以通过查看日志->追踪，对于工作流中每个节点执行情况进行详细的查看和调试。
Dify: 轻松助你创建基于 GPT-4 的 AI 原生应用
热门推荐
easylife206的专栏
08-01 2万+
公众号关注「奇妙的 Linux 世界」设为「星标」，每天带你玩转 Linux ！Dify是一个易用的LLMOps平台，旨在让更多人可以创建可持续运营的原生 AI 应用。Dify 提供多种类型应用的可视化编排，应用可开箱即用，也能以后端即服务的 API 提供服务。LLMOps（Large Language Model Operations）是一个涵盖了大型语言模型（如 GPT 系列）开发、部...
Dify 入门：无代码 AI 应用开发,快速入门和实际实施的综合指南
iCloudEnd的博客
07-28 130
Dify 支持主流模型提供商，例如 OpenAI 的 GPT 系列和 Anthropic 的 Claude 系列。每个模型的功能和参数各不相同，因此请选择适合您应用程序需求的模型提供商。您可以在 Dify 中使用模型提供商的官方网站获取 API 密钥。这里我们以 OpenAI 的 API key 为例，使用 API key 可以让我们有更多模型可供选择，如何获取 API key 本文就不多说了。
AI智能体研发之路-工程篇（二）：Dify智能体开发平台一键部署
人工智能领域博客
05-07 7859
本文首先结合自己的工作写了一些对Agent AI智能体的见解，接着介绍了Dify框架快捷部署的过程，最后阐述了Dify框架的特点。个人认为Dify的发展会让Agent AI智能体开发提效，涌现更多有趣有价值的AI应用。
基于 Dify 和大语言模型打造小红书运营一条龙工作流
m0_59163425的博客
09-01 1034
第四步为生成一段前言文字，用于绘制到封面图模板上。今天我们学习了如何使用 Dify 的工作流配合大语言模型和外部图像接口来搭建一个内容生成应用。从配置初始参数开始，我们逐步通过大语言模型节点生成内容，再通过 HTTP 节点请求外部服务，最后用模版转换节点组装内容输出整体结果。整个过程不仅展示了工作流的强大功能，也让我们体验到了自动化处理的便捷性。当然，Dify 工作流的强大功能远不止于此。它还提供了更多的节点和功能，等待我们去探索和应用。
Dify v0.6.9将自定义工作流作为工具
NLP工程化
07-08 2679
可以在 Dify v0.6.9中发布人工智能工作流程作为可复用的工具（在Agent或Workflow中使用）。这使得它可以与新的agents和其它workflows集成，从而消除重复的工作。
用dify实现简单的Agent应用（AI信息检索）
leaning_java的博客
07-04 1740
这篇文章里，我们来聊聊如何使用字节最新的豆包大模型，在 Dify 上来快速完成一个具备理解需求、自主规划、自主选择工具使用的简单智能体（Agent）。
LLaMA+Alpaca怎么搭建部署训练
05-17
LLaMA+Alpaca是一个基于PyTorch的自然语言处理框架，主要用于生成式对话模型的训练和部署。以下是搭建、部署、训练LLaMA+Alpaca的步骤： 1. 安装依赖项：在安装LLaMA+Alpaca之前需要安装以下依赖项： - Python 3.7或更高版本 - PyTorch 1.7或更高版本 - Transformers 4.0或更高版本 - Flask 2. 下载代码：可以从LLaMA+Alpaca的GitHub页面上下载代码，也可以使用以下命令从GitHub上克隆代码： ``` git clone https://github.com/microsoft/LLaMA.git ``` 3. 部署：可以使用以下命令启动LLaMA+Alpaca的部署： ``` cd LLaMA/deployment python app.py ``` 这将会在本地启动一个Flask服务器并提供对话API。 4. 训练模型：可以使用以下命令在LLaMA+Alpaca上训练对话模型： ``` python train.py \ --dataset_path <path-to-dataset> \ --tokenizer_name <tokenizer-name> \ --model_name_or_path <model-name-or-path> \ --output_dir <output-dir> \ --num_train_epochs <num-epochs> \ --per_device_train_batch_size <batch-size> \ --gradient_accumulation_steps <accumulation-steps> \ --learning_rate <learning-rate> ``` 其中，\<path-to-dataset>是对话数据集的路径，\<tokenizer-name>和\<model-name-or-path>分别是使用的tokenizer和模型名称或路径，\<output-dir>是输出路径，\<num-epochs>是训练的epoch数，\<batch-size>是每个GPU上的批量大小，\<accumulation-steps>是梯度累积步骤数，\<learning-rate>是学习率。 5. 部署新模型：可以使用以下命令将新训练的模型部署到Flask服务器上： ``` python update_model.py \ --model_path <path-to-model> \ --tokenizer_name <tokenizer-name> \ --model_name <model-name> ``` 其中，\<path-to-model>是新训练的模型路径，\<tokenizer-name>是使用的tokenizer名称，\<model-name>是新模型名称。 以上就是搭建、部署、训练LLaMA+Alpaca的步骤。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值