多类型图像OCR：基于Dify的多模态Agent实现

最新推荐文章于 2025-04-14 13:30:00 发布
最新推荐文章于 2025-04-14 13:30:00 发布
阅读量8k 收藏 36
点赞数 29
分类专栏： 大模型 文章标签： ocr 人工智能 大模型 LLM python Dify
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43128256/article/details/139685113
版权

大模型相关目录

大模型，包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容
从0起步，扬帆起航。

  1. 大模型应用向开发路径：AI代理工作流
  2. 大模型应用开发实用开源项目汇总
  3. 大模型问答项目问答性能评估方法
  4. 大模型数据侧总结
  5. 大模型token等基本概念及参数和内存的关系
  6. 大模型应用开发-华为大模型生态规划
  7. 从零开始的LLaMA-Factory的指令增量微调
  8. 基于实体抽取-SMC-语义向量的大模型能力评估通用算法（附代码）
  9. 基于Langchain-chatchat的向量库构建及检索（附代码）
  10. 一文教你成为合格的Prompt工程师
  11. 最简明的大模型agent教程
  12. 批量使用API调用langchain-chatchat知识库能力
  13. langchin-chatchat部分开发笔记（持续更新）
  14. 文心一言、讯飞星火、GPT、通义千问等线上API调用示例
  15. 大模型RAG性能提升路径
  16. langchain的基本使用
  17. 结合基础模型的大模型多源信息应用开发
  18. COT：大模型的强化利器
  19. 多角色大模型问答性能提升策略（附代码）
  20. 大模型接入外部在线信息提升应用性能
  21. 从零开始的Dify大模型应用开发指南
  22. 基于dify开发的多模态大模型应用（附代码）
  23. 基于零一万物多模态大模型通过外接数据方案优化图像文字抽取系统
  24. 快速接入stable diffusion的文生图能力
  25. 多模态大模型通过外接数据方案实现电力智能巡检（设计方案）
  26. 大模型prompt实例：知识库信息质量校验模块
  27. 基于Dify的LLM-RAG多轮对话需求解决方案（附代码）
  28. Dify大模型开发技巧：约束大模型回答范围
  29. 以API形式调用Dify项目应用（附代码）
  30. 基于Dify的QA数据集构建（附代码）
  31. Qwen-2-7B和GLM-4-9B：大模型届的比亚迪秦L
  32. 文擎毕昇和Dify：大模型开发平台模式对比
  33. 多类型图像OCR：基于Dify的多模态Agent实现

文章目录

背景

Agent 通常是一个智能软件实体，能够感知其环境，并根据这些感知做出决策和行动。它可能包括学习能力，以优化其未来的决策和行动。

当下Agent研究往往是针对于文本类型数据输入，对语义进行感知并决策，现在对图文多模态输入的Agent研究相对比较匮乏。

技术方案

对不同类型图像进行识别时的解决方案。

  • 主Agent负责对图像类型进行识别，并格式化输出。
  • 子Agent负责对指定图像类型进行分析，被注入了一定的先验知识，如表格分析模型、铭牌分析模型等，并格式化输出。

技术架构图如下：
在这里插入图片描述
其中，工具使用效果如下：
在这里插入图片描述

代码及Dify设计

在这里插入图片描述
在这里插入图片描述

from fastapi import FastAPI, HTTPException, Depends
from typing import List, Optional
import re
import json
import datetime
import pandas as pd
from pydantic import BaseModel


app = FastAPI()
def post_processing(input_data):
    # 使用正则表达式匹配{}之间的内容
    pattern = r'{(.*?)}'
    match = re.search(pattern, input_data, re.DOTALL)

    # 匹配后做数据后处理
    if match:
        match = '{' + match.group(1) + '}'
        json_str = match.replace(': {\n ', ':null,').replace('\n', '').replace('},', ',').replace('：',':')
        json_str = json_str.strip('"\"')
        return json_str
    else:
        return str({'error':'llm out error!'})
    
@app.get("/pic_type")
def get_pic_type(url):
    import openai
    from openai import OpenAI
    import re

    API_BASE = "https://api.lingyiwanwu.com/v1"
    API_KEY = "e6609f77a0fb40a290eb034535917144"

    client = OpenAI(
        # defaults to os.environ.get("OPENAI_API_KEY")
        api_key=API_KEY,
        base_url=API_BASE
    )


    prompt = '''
## 职位：你是一个图像类型判别小助手。
## 职能：你可以将图像分类为【设备铭牌、文件表格、其他】三个类型。其中，设备铭牌指包含设备类型、设备规范、设备厂家、编号、参数等信息的铭牌图像；文件表格指以表格形式存储信息的图像。
## 输出格式：你只能输出判断后得出的图像类型，不需要输出图像类型以外的信息。如：设备铭牌、文件表格、其他
    '''

    completion = client.chat.completions.create(
        model="yi-vl-plus",
        messages= [
            {
                "role": "user",
                "content": [
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": url
                        }
                    },
                    {
                        "type": "text",
                        "text": prompt
                    }
                ]
            }
        ]
    )
    raw_result = completion.choices[0].message.content
    print('LLM Respone:',raw_result)
    
    
    # 定义正则表达式，匹配“设备铭牌”或“文件表格”
    pattern = re.compile(r'设备铭牌|文件表格')
    
    # 使用正则表达式搜索字符串
    match = pattern.search(raw_result)
    return match.group() if match else None,url

@app.get("/mingpai_info")
def get_mingpai_info(url):
    import openai
    from openai import OpenAI
    import re

    API_BASE = "https://api.lingyiwanwu.com/v1"
    API_KEY = "e6609f77a0fb40a290eb034535917144"

    client = OpenAI(
        # defaults to os.environ.get("OPENAI_API_KEY")
        api_key=API_KEY,
        base_url=API_BASE
    )


    prompt = '''
## 职位：你是一个具备图像信息提取、信息规整的智能助手
## 职能：请提取图像中的文字、数字等文本内容,重点提取【提取下二维码下方的数字和字母组成的条形码编号】。
根据识别内容信息提取【设备名称】、【规约标准】、【电压参数】、【电流参数】、【频率参数】、【生产年份】、【生产公司】等内容。
提取后，返回格式参考如下：{
"编号":"09991DY00000009999999999",
"设备名称"："配电箱",
"相关标准"："GB12345.1-2099",
"生产年份"："2059年",
"生产厂家"："某某有限公司",
"电压参数"："110V",
"电流参数"："0.3A",
"频率参数"："80HZ"
"功率参数"：“COSΦ=0.8滞后”
}
注意，提取不到时将提取内容标注“null”，且不要填入多余内容。
注意，我不需要任何代码，请输出json格式结果，json中不允许嵌套json。
    '''

    completion = client.chat.completions.create(
        model="yi-vl-plus",
        messages= [
            {
                "role": "user",
                "content": [
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": url
                        }
                    },
                    {
                        "type": "text",
                        "text": prompt
                    }
                ]
            }
        ]
    )
    raw_result = completion.choices[0].message.content
    print('LLM Respone:',raw_result)
    return post_processing(raw_result)
@app.get("/table_info")
def get_table_info(url):
    import openai
    from openai import OpenAI
    import re

    API_BASE = "https://api.lingyiwanwu.com/v1"
    API_KEY = "e6609f77a0fb40a290eb034535917144"

    client = OpenAI(
        # defaults to os.environ.get("OPENAI_API_KEY")
        api_key=API_KEY,
        base_url=API_BASE
    )


    prompt = '''
## 职位：你是一个具备表单图像信息提取、信息规整的智能助手
## 职能：请提取图像中的文字、数字等文本内容，注意图像是一个表格，你需要理解表格中的内容。
根据识别内容信息提取【工程项目名称】、【工作任务】、【工作内容】、【运行单位】、【承包商或作业施工单位】、【交底日期】、【安全措施】等内容。
提取后，返回格式参考如下：{
"工程项目名称":"某某项目",
"工作任务"："XXKv站XX任务",
"运行单位"："某某所",
"承包商或作业施工单位"："某某公司",
"交底日期"："2024年6月13日"，
"安全措施"：""
}
注意，提取不到时将提取内容标注“null”，且不要填入多余内容。
注意，我不需要任何代码，请输出json格式结果。
    '''

    completion = client.chat.completions.create(
        model="yi-vl-plus",
        messages= [
            {
                "role": "user",
                "content": [
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": url
                        }
                    },
                    {
                        "type": "text",
                        "text": prompt
                    }
                ]
            }
        ]
    )
    raw_result = completion.choices[0].message.content
    print('LLM Respone:',raw_result)
    return post_processing(raw_result)


@app.get("/generate")
def get_table(input_str = Depends(post_processing)):
    print(input_str)
    # 将字符串转换为字典
    data_dict = json.loads(input_str.replace('\\n','').replace('\\',''))
    
    for k, v in data_dict.items():
        if type(v) == list:
            data_dict[k] = [' '.join(v)]
        else:
            data_dict[k] = [v]
    print('##################','json')
    df_json = pd.DataFrame(data_dict)
    print(data_dict)
    print('##################','df')
    print(df_json)
    '''
    # 读取excel文件
    df_excel = pd.read_excel('/home/gputest/lyq/py_file/result.xlsx', engine='openpyxl')

    # 将json数据追加到excel的DataFrame中（这里简单地追加到末尾）
    # 注意：你可能需要根据你的数据结构和需求调整这一步
    df_excel = pd.concat([df_excel, df_json], ignore_index=True)
    '''

    # 保存修改后的excel文件
    # 获取当下时间并format
    formatted_time = str(datetime.datetime.now().strftime("%Y_%m_%d_%H%M%S"))
    df_json.to_excel(formatted_time+'.xlsx', index=False, engine='openpyxl')

    return 'http://172.19.138.52:9707/'+formatted_time+'.xlsx'

if __name__ == "__main__":
    import uvicorn
    uvicorn.run(app, host="172.19.138.52", port=9706)

需要强调的是，由于Dify不支持图像数据在工作流中的流通控制，因此本设计使用图像链接。
在这里插入图片描述
在这里插入图片描述

RAG私域问答场景升级版方案(第二期方案)[2]：工业级别构建私域问答（业务问题、性能问题、安全成本问题等详细解决方案）
丨汀、的博客
08-07 730
RAG私域问答场景升级版方案(第二期方案)[2]：工业级别构建私域问答（业务问题、性能问题、安全成本问题等详细解决方案）
(翻译篇章)从海量信息中脱颖而出：Workflow智能分析解决方案，大语言模型为AI科技文章打造精准摘要评分体系
丨汀、的博客
08-21 197
从海量信息中脱颖而出：Workflow智能分析解决方案，大语言模型为AI科技文章打造精准摘要评分体系(翻译篇章)
Dify工作流 上传图片并进行识别的实现方式
JIZQAQ学习&踩坑笔记本
10-14 9873
最近刚开始研究Dify的工作流使用，遇到一个头大的问题，希望上传图片并识别出图片上的文字，但是即时Dify的开始，提供了sys.files进行文件上传功能，可是我无法再LLM的上下文当中增加这个变量的识别。经过我多天的研究之后，发现个很奇怪的解决办法，创建一个工作流编排的聊天助手，这个结束里面选择到sys.files是在一个文本框里面，然后可以直接复制…查了半天也不知道怎么处理…真的是个又傻逼又偏门的解决办法，虽说能用就行，但如果有大佬路过，希望能告诉我还有什么其他正常的解决办法TuT。
Dify+工作流，通过多模态实现发票自动识别
odin2005的博客
12-27 5113
上个章节我们用Dify实现了基于本地知识库的聊天助手，本节我们通过工作流 ，可视化界面快速构建复杂的工作流和自动化流程。结合 OCR（光学字符识别）技术和工作流引擎，可以实现发票的自动识别、数据提取以及后续的审批流程。本文将详细介绍如何使用 Dify 和工作流来实现发票的自动识别与审批。
安装ragflow后，之前部署的Dify咋不能用了？（附ragflow一键安装包dify共存版）
apo0625的博客
03-15 1678
前面带领大家部署了deepseek+Dify 安装本地知识库：[DeepSeek + Dify ：零成本搭建企业级本地私有化知识库保姆级喂饭教程](https://mp.weixin.qq.com/s/iO-H72iKHuTyhTve43dyfw) Dify虽好，但他的知识库设置参数不够丰富和灵活，对于不同形式的文档上传，尤其是pdf扫描版，上传识别效果不好，知识库根本回答不了PDF李的内容。 今天，带大家认识一下ragflow这个知识库开原方案，针对不同场景的文档，做了深度优化，看能否解决问题
基于dify开发的多模态大模型应用-智能铭牌识别（附代码）
AI相关从业分享
05-06 8127
多模态大模型实现这一功能，相比于传统的OCR系统，其优势更强。
Dify 默认不内置OCR
Leon_Jinhai_Sun的博客
04-07 480
模块实现，具体取决于你的使用场景。
搭建智能文档分析智能体：基于Dify工作流的实战指南
04-11
搭建智能文档分析智能体：基于Dify工作流的实战指南
开发笔记 | 快速上手基于Dify等第三方大模型平台接口实现AI智能聊天
qq_37630282的博客
11-06 6988
前置：1.部署Dify，见官方教程及介绍，本文主要讲基于部署完之后的java实现的调用它的接口实现AI智能聊天，其他AI功能后续有用到再补充，没有就看缘分2.什么是Dify？可以简单理解为集成了各类AI大模型的一个中转平台，你的服务请求它的接口，再通过在Dify上配置好的应用尽情请求获取到回复内容3.用到了Dify，但其他相关的提供大模型平台的用法可能都差不多，可做参考4.用到springboot/java。
开源大模型项目，助你效率提高 10 倍
2401_85375298的博客
10-23 1558
Flowise 是一款开源 UI 可视化工具，用于构建定制的 LLM 编排流程和 AI 代理。" )}
【多模态】30、GPT4V_OCR | GPT4V 在 OCR 数据集上效果测评
呆呆的猫的博客
05-10 1716
本文主要介绍 GPT-4V 在 OCR 任务上的测评效果
Dify实践 | Agent详解：定义、工作原理、搭建搜索引擎、多Agent协作....
star_nwe的博客
11-13 5309
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
AI | 基于 Dify + 大模型（LLM）+ 智能体（Agent） 手把手从0-1构建私有化智能助手
2401_82469710的博客
12-13 5236
人工智能技术领域持续火热，智能助手已经成为企业和个人提高效率、获取信息的重要工具。构建一个私有化智能助手，不仅可以满足个性化需求，还可以确保数据安全和隐私保护！
AI Agent 搭建平台横向对比：Dify、阿里云百炼、Coze
最新发布
大F子的智能小课
04-14 855
随着生成式AI技术向行业场景加速渗透，低代码/零代码AI Agent开发平台成为企业智能化转型的核心工具。本文聚焦国内三大主流平台——Dify（苏州语灵）阿里云百炼字节Coze，从技术能力行业适配性商业化路径三大维度展开深度评测，为开发者与企业提供选型参考。三大平台在技术开放性行业适配性生态壁垒Dify代表开发者友好型工具，适合追求技术可控性的团队；阿里云百炼彰显大厂生态优势，成为传统企业智能化改造的“安全选择”；Coze则凭借零代码和流量红利，正在重塑社交场景的AI交互体验。未来竞争焦点将集中在。
【LLM大模型】2024开源项目汇总_dify chat2sql
2401_85773359的博客
08-08 2414
当大模型成本逐渐降低，可靠性提升后，这意味着越来越多的业务应用将会与 LLM 结合，为了让这种结合更加顺畅，需要有与现有来支撑 LLM 应用开发的快速开发对比说明可参考：开源的 LLM 应用开发平台。其直观的界面结合了 AI 工作流、RAG 、Agent、模型管理、可观测性功能等，让您可以快速从原型到生产。2.2 FastGPT：一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。
dify实战案例分享-基于多模态模型的发票识别
2401_85375298的博客
11-04 6256
文生图和图生图 也支持目前市面主流图像生成模型（FLUX.1-dev 、FLUX.1-schnell、stable-diffusion-3-medium、stable-diffusion-xl-base-1.0、stable-diffusion-2-1、sd-turbo、sdxl-turbo、SDXL-Lightning）关于硅基流动多模态模型设置。这里我们设置一下硅基流动多模态模型的配置，这里我们就以Qwen/Qwen2-VL-72B-Instruct 为案例给大家介绍，大家可以看我下面的截图设置。
dify案例分享-基于多模态模型的发票识别
竹林幽深
12-30 3862
硅基流动是一家专注于人工智能基础设施和生成式AI技术的初创公司。硅基流动是致力于构建可扩展、标准化且高性能的生成式AI计算基础设施平台，提供包括SiliconCloud（模型云服务平台）、SiliconLLM（大型语言模型推理引擎）和OneDiff（高性能文本到图像/视频加速库）在内的多种软件解决方案。公司的网站https://siliconflow.cn目前公司有三个产品siliconCloud、siliconLLm、OneDiff该公司提供市面上主流模型，而且最关键是免费。
dify案例分享-基于多模态模型的发票比对
m0_59235699的博客
11-13 3099
我们在实际工作中发现OCR识别的发票准确性要求比较高。基于多模态大模型OCR识别这块可能会遇到对票面信息识别不准的问题，这样会财务报销就会产生很大的问题。基于以上的问题我们来实现一个发票比对工作流。下面我们首先介绍一下整体功能。这里面主要功能：用户上传一张发票图片，发票会经过文档提取器。文档提取器提取用户上传的发票传递给2个llm多模态模型，两个多模态模型是实现发票票面信息的提取功能。然后将提取的发票票面信息发送给第三个基于llm文本的大模型，它充当模型裁判功能。
dify 开发新模块
03-30
dify是一个开源的Python库，用于快速开发机器学习模型和部署机器学习服务。它提供了一系列的工具和接口，帮助开发者在机器学习项目中更高效地进行数据处理、特征工程、模型训练和模型部署等任务。 dify的主要特点包括： 1. 简单易用：dify提供了简洁的API和丰富的功能，使得开发者可以快速上手并进行高效的开发。 2. 模块化设计：dify采用模块化的设计，每个模块都有清晰的功能和接口，可以根据需求选择性地使用。 3. 数据处理和特征工程：dify提供了丰富的数据处理和特征工程工具，包括数据清洗、特征选择、特征变换等功能，帮助开发者更好地准备数据。 4. 模型训练和评估：dify支持多种常见的机器学习算法，并提供了模型训练和评估的接口，方便开发者进行模型选择和性能评估。 5. 模型部署和服务化：dify支持将训练好的模型部署为API服务，方便其他应用程序进行调用和集成。 如果你想开发新模块，可以按照以下步骤进行： 1. 确定模块的功能和接口：明确你的模块要解决的问题，并设计好相应的功能和接口。 2. 实现模块代码：使用Python编写你的模块代码，可以借助dify提供的工具和接口来简化开发过程。 3. 测试和调试：对你的模块进行测试和调试，确保其功能正常并符合预期。 4. 文档编写：编写清晰的文档，介绍你的模块的功能、使用方法和示例代码等。 5. 提交和分享：将你的模块提交到dify的开源社区，与其他开发者分享你的成果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

写代码的中青年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值