AI学习：图片对话 -通义千问VL

最新推荐文章于 2024-07-13 21:34:41 发布
最新推荐文章于 2024-07-13 21:34:41 发布
阅读量1.6k 收藏 23
点赞数 22
分类专栏： ai 文章标签： 人工智能 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42954448/article/details/134994229
版权

通义千问VL

通义千问VL是阿里云研发的大规模视觉语言模型（Large Vision Language Model, LVLM），可以以图像、文本、检测框作为输入，并以文本和检测框作为输出，支持中文多模态对话及多图对话。

特点：

  1. 强大的性能：在四大类多模态任务的标准英文测评中（Zero-shot Captioning/VQA/DocVQA/Grounding）上，均取得同等通用模型大小下最好效果；
  2. 多语言对话模型：天然支持英文、中文等多语言对话，端到端支持图片里中英双语的长文本识别；
  3. 多图交错对话：支持多图输入和比较，指定图片问答，多图文学创作等；
  4. 首个支持中文开放域定位的通用模型：通过中文开放域语言表达进行检测框标注；
  5. 细粒度识别和理解：相比于目前其它开源LVLM使用的224分辨率，Qwen-VL是首个开源的448分辨率的LVLM模型。更高分辨率可以提升细粒度的文字识别、文档问答和检测框标注。

-这个过程基本上是将用户提供的文本和图片信息转换成模型可以理解的格式，也就是token序列。所谓token，可以简单理解为文本的基本单元，比如中文里的一个字或者英文里的一个单词。对于图片，也会被转换成一系列固定长度的token。

用户输入的信息包括多轮对话历史和当前指令，这些文本信息会被拆分成token序列。举例来说，中文文本“你好，我是通义千问”会被分成[‘你’, ‘好’, ‘，’, ‘我’, ‘是’, ‘通’, ‘义’, ‘千’, ‘问’]，而英文文本"Nice to meet you."则会被分成[‘Nice’, ’ to’, ’ meet’, ’ you’, ‘.’]。

此外，如果用户提供了图片，也会被转换成一系列固定长度的token序列，以便模型能够处理。

整个过程的目标是将用户输入的多样化信息转化成模型能够理解和处理的格式，然后模型会生成相应的回复，最终以token序列的形式返回给用户。

由于模型调用的计算量与token序列长度相关，输入或输出token数量越多，模型的计算时间越长，我们将根据模型输入和输出的token数量计费。可以从API返回结果的 usage 字段中了解到您每次调用时使用的token数量。

模型概述

模型名模型简介
qwen-vl-v1以 Qwen-7B 语言模型初始化，添加图像模型，图像输入分辨率为448的预训练模型。
qwen-vl-chat-v1通义千问VL支持灵活的交互方式，包括多图、多轮问答、创作等能力的模型。

SDK使用

前提条件

API-KEY设置

export DASHSCOPE_API_KEY=YOUR_DASHSCOPE_API_KEY

简单示例

from http import HTTPStatus
import dashscope


def simple_multimodal_conversation_call():
    """Simple single round multimodal conversation call.
    """
    messages = [
        {
            "role": "user",
            "content": [
                {"image": "https://dashscope.oss-cn-beijing.aliyuncs.com/images/dog_and_girl.jpeg"},
                {"text": "这是什么?"}
            ]
        }
    ]
    response = dashscope.MultiModalConversation.call(model=dashscope.MultiModalConversation.Models.qwen_vl_chat_v1,
                                                     messages=messages)
    # The response status_code is HTTPStatus.OK indicate success,
    # otherwise indicate request is failed, you can get error code
    # and message from code and message.
    if response.status_code == HTTPStatus.OK:
        print(response)
    else:
        print(response.code)  # The error code.
        print(response.message)  # The error message.


if __name__ == '__main__':
    simple_multimodal_conversation_call()

{"status_code": 200, "request_id": "f11aa834-1c83-93f3-820f-6aade67ff5b5", "code": "", "message": "", "output": {"text": null, "finish_reason": null, "choices": [{"finish_reason": null, "message": {"role": "assistant", "content": "图中是一 名女子在沙滩上和狗玩耍，旁边的狗是一只拉布拉多犬，它们处于沙滩上。"}}]}, "usage": {"input_tokens": 285, "output_tokens": 25}}

本地文件

在这里插入图片描述

from dashscope import MultiModalConversation
def call_with_local_file():
    """Sample of use local file.
       linux&mac file schema: file:///home/images/test.png
       windows file schema: file://D:/images/abc.png
    """
    local_file_path = 'file://D:/ai/python/aliyun/image.png'
    messages = [{
        'role': 'system',
        'content': [{
            'text': 'You are a helpful assistant.'
        }]
    }, {
        'role':
        'user',
        'content': [
            {
                'image': local_file_path
            },
            {
                'text': '图片里有什么东西?'
            },
        ]
    }]
    response = MultiModalConversation.call(model=MultiModalConversation.Models.qwen_vl_chat_v1, messages=messages)
    print(response)


if __name__ == '__main__':
    call_with_local_file()

{"status_code": 200, "request_id": "f7336d09-a173-91c5-9ec8-644af239d15d", "code": "", "message": "", "output": {"text": null, "finish_reason": null, "choices": [{"finish_reason": null, "message": {"role": "assistant", "content": "图片里有 一只蓝眼睛、蓝鼻头的猫，它正在地毯上坐着。"}}]}, "usage": {"input_tokens": 287, "output_tokens": 19}}

多轮对话

from http import HTTPStatus
from dashscope import MultiModalConversation


def conversation_call():
    """Sample of multiple rounds of conversation.
    """
    messages = [
        {
            "role": "user",
            "content": [
                {"image": "https://dashscope.oss-cn-beijing.aliyuncs.com/images/dog_and_girl.jpeg"},
                {"text": "这是什么?"},
            ]
        }
    ]
    response = MultiModalConversation.call(model=MultiModalConversation.Models.qwen_vl_chat_v1,
                                           messages=messages)
    # The response status_code is HTTPStatus.OK indicate success,
    # otherwise indicate request is failed, you can get error code
    # and message from code and message.
    if response.status_code == HTTPStatus.OK:
        print(response)
    else:
        print(response.code)  # The error code.
        print(response.message)  # The error message.
    messages.append({'role': response.output.choices[0].message.role,
                     'content': [{'text': response.output.choices[0].message.content}]})
    messages.append({"role": "user",
                     "content": [
                         {"text": "她们在干什么?", }
                     ]})

    response = MultiModalConversation.call(model=MultiModalConversation.Models.qwen_vl_chat_v1,
                                           messages=messages)
    # The response status_code is HTTPStatus.OK indicate success,
    # otherwise indicate request is failed, you can get error code
    # and message from code and message.
    if response.status_code == HTTPStatus.OK:
        print(response)
    else:
        print(response.code)  # The error code.
        print(response.message)  # The error message.


if __name__ == '__main__':
    conversation_call()

{"status_code": 200, "request_id": "096e75cb-7ad2-9626-a7cd-673e256537e2", "code": "", "message": "", "output": {"text": null, "finish_reason": null, "choices": [{"finish_reason": null, "message": {"role": "assistant", "content": "图中是一 名女子在沙滩上和狗玩耍，旁边的狗是一只拉布拉多犬，它们处于沙滩上。"}}]}, "usage": {"input_tokens": 285, "output_tokens": 25}}
{"status_code": 200, "request_id": "ee838d79-c456-9924-a3e4-5af0631b20f9", "code": "", "message": "", "output": {"text": null, "finish_reason": null, "choices": [{"finish_reason": null, "message": {"role": "assistant", "content": "她们在和 狗玩耍，女孩坐在沙滩上，带着一只拉布拉多犬，她们可能在欣赏风景，也可能在和狗玩耍。"}}]}, "usage": {"input_tokens": 324, "output_tokens": 30}}

流式输出

from dashscope import MultiModalConversation


def simple_multimodal_conversation_call():
    """Simple single round multimodal conversation call.
    """
    messages = [
        {
            "role": "user",
            "content": [
                {"image": "https://dashscope.oss-cn-beijing.aliyuncs.com/images/dog_and_girl.jpeg"},
                {"text": "这是什么?"}
            ]
        }
    ]
    responses = MultiModalConversation.call(model=MultiModalConversation.Models.qwen_vl_chat_v1,
                                           messages=messages,
                                           stream=True)
    for response in responses:
        print(response)


if __name__ == '__main__':
    simple_multimodal_conversation_call()

{"status_code": 200, "request_id": "2d7da2d3-f32b-9e87-a4c9-bfff8d9f304f", "code": "", "message": "", "output": {"text": null, "finish_reason": null, "choices": [{"finish_reason": null, "message": {"role": "assistant", "content": "图中是一 名"}}]}, "usage": {"input_tokens": 285, "output_tokens": 3}}
{"status_code": 200, "request_id": "2d7da2d3-f32b-9e87-a4c9-bfff8d9f304f", "code": "", "message": "", "output": {"text": null, "finish_reason": null, "choices": [{"finish_reason": null, "message": {"role": "assistant", "content": "图中是一 名女子在沙滩上和狗玩耍，"}}]}, "usage": {"input_tokens": 285, "output_tokens": 11}}
{"status_code": 200, "request_id": "2d7da2d3-f32b-9e87-a4c9-bfff8d9f304f", "code": "", "message": "", "output": {"text": null, "finish_reason": null, "choices": [{"finish_reason": null, "message": {"role": "assistant", "content": "图中是一 名女子在沙滩上和狗玩耍，旁边的狗是一只拉布拉多犬"}}]}, "usage": {"input_tokens": 285, "output_tokens": 19}}
{"status_code": 200, "request_id": "2d7da2d3-f32b-9e87-a4c9-bfff8d9f304f", "code": "", "message": "", "output": {"text": null, "finish_reason": null, "choices": [{"finish_reason": null, "message": {"role": "assistant", "content": "图中是一 名女子在沙滩上和狗玩耍，旁边的狗是一只拉布拉多犬，它们处于沙滩上。"}}]}, "usage": {"input_tokens": 285, "output_tokens": 25}}

参数配置

参数类型默认值说明
modelstring-指定用于对话的通义千问模型名，qwen-vl-v1或qwen-vl-chat-v1。
messageslist[dict]-用户输入的历史对话信息和指令组成的完整输入信息。
top_p (可选)float0.8生成过程中核采样方法概率阈值，例如，取值为0.8时，仅保留概率加起来大于等于0.8的最可能token的最小集合作为候选集。取值范围为(0,1.0)，取值越大，生成的随机性越高；取值越低，生成的确定性越高。
stream (可选)boolFalse是否使用流式输出。当以stream模式输出结果时，接口返回结果为generator，需要通过迭代获取结果，每个输出为当前生成的整个序列，最后一次输出为最终全部生成结果。
top_kfloat100.0生成时，采样候选集的大小。例如，取值为50时，仅将单次生成中得分最高的50个token组成随机采样的候选集。取值越大，生成的随机性越高；取值越小，生成的确定性越高。注意：如果top_k的值大于100，top_k将采用默认值100
seedint1234生成时，随机数的种子，用于控制模型生成的随机性。如果使用相同的种子，每次运行生成的结果都将相同；当需要复现模型的生成结果时，可以使用相同的种子。seed参数支持无符号64位整数类型。默认值 1234

返回参数

返回参数类型说明
status_codeint200（HTTPStatus.OK）表示请求成功，否则表示请求失败，可以通过code获取错误码，通过message字段获取错误详细信息。
request_Idstring系统生成的标志本次调用的id。
codestring表示请求失败，表示错误码，成功忽略。
outputdict调用结果信息，对于通义VL模型，包含输出message。
output.choicesList模型为输入生成的完成选项列表。
output.choices[x].message.roleString信息来源。
output.choices[x].message.contentString本次请求的算法输出内容。
usagedict计量信息，表示本次请求计量数据。
usage.input_tokensint用户输入文本转换成Token后的长度。
usage.output_tokensint模型生成回复转换为Token后的长度。

参考链接：HTTP调用接口方式等

Z !
关注
  • 22
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
VLM 系列——Qwen-VL 千问—— 论文解读
TigerZ*的博客
01-28 1725
Qwen-VL表示多任务训练后的模型，Qwen-VL-chat是基于Qwen-VL的指令调优（第三阶段SFT——监督微调）后的视觉语言聊天机器人。
对标ChatGPT！阿里“通义千问”上线：问啥都能答！
04-07
4月7日，阿里毫无预警地开放了旗下首款人工智能聊天平台“通义千问”内测渠道，目前支持通过申请邀请码使用。据悉，“通义千问”最早在本月初泄出消息，但并没有官宣开放日期。 自ChatGPT流行以来，头部科技企业已经...
通义千问全新Qwen-VL多模态LLM：超越GPT-4V和谷歌Gemini 可看图说话
赵KK的博客
03-08 1164
总结：Qwen项目是一个多模态AI项目，包括Qwen-Chat、Code-Qwen、Math-Qwen、Qwen-VL和Qwen-Audio。通义千问视觉理解模型Qwen-VL再次升级，推出Max版本，拥有更强的视觉推理和中文理解能力，在多个权威测评中获得佳绩，整体性能堪比GPT-4V和Gemini Ultra。连续发布Qwen和Qwen-VL,Qwen不仅仅是一个语言模型，而是一个致力于实现通用人工智能（AGI）的项目，目前包含了大型语言模型（LLM）和大型多模态模型（LMM）第三是加强视觉表达功能。
阿里的通义千问也能本地部署了？首发Qwen-VL-Chat模型的本地部署教程（A卡）
梦马韶华
09-18 7855
Qwen-VL 是一款支持中英文等多种语言的视觉语言（Vision Language，VL）模型，相较于此前的 VL 模型，其除了具备基本的图文识别、描述、问答及对话能力之外，还新增了视觉定位、图像中文字理解等能力。Qwen-VL 以 Qwen-7B 为基座语言模型，在模型架构上引入视觉编码器，使得模型支持视觉信号输入，该模型支持的图像输入分辨率为 448，此前开源的 LVLM 模型通常仅支持 224 分辨率。
使用 Dashscope 和通义千问进行多模态对话和图像识别
m0_63764739的博客
05-31 994
在这个示例中，`simple_multimodal_conversation_call` 函数接收图片 URL 和用户问题，调用 Dashscope 的 `qwen-vl-plus` 模型，处理响应并输出结果。在这个示例中，`call_with_messages` 函数定义了一系列消息，通过 `qwen_turbo` 模型生成描述。在这个示例中，`sample_sync_call_streaming` 函数生成一个逐字输出的文本流，可以用于实时显示生成内容。此示例展示了如何处理多个图像并生成相应的描述。
体验阿里云通义千问AI大模型生成三维高斯分布曲线图
临风暖阳的博客
01-13 407
笔者主要借助阿里云通义千问AI大模型生成三维高斯分布曲线图
Qwen-VL：最新国产多模态大模型，基于通义千问-7B
idol24的博客
08-29 964
鱼羊 发自 凹非寺 量子位 | 公众号 QbitAI阿里开源大模型，又上新了~继通义千问-7B（Qwen-7B）之后，阿里云又推出了大规模视觉语言模型Qwen-VL，并且一上线就直接开源。具体来说，Qwen-VL是基于通义千问-7B打造的多模态大模型，支持图像、文本、检测框等多种输入，并且在文本之外，也支持检测框的输出。举个????，我们输入一张阿尼亚的图片，通过问答的形式，Qwen-VL-Chat既能...
阿里版GPT开启内测 “通义千问”给成都火锅写了一首诗
04-07
“我们要用人工智能去解决问题，而不是被人工智能所控制。”“机器只有‘芯’，而人有‘心’。”上月底，马云刚刚发表了对于ChatGPT的看法；今日，阿里在AI大模型领域的研究成果亮相。 阿里云宣布自研大模型“通义千...
阿里通义千问，要做帮企业打造专属GPT的通用平台
04-11
阿里云智能CTO周靖人在北京云峰会现场介绍称，通义千问是一个超大规模的语言模型，能进行多轮交互及复杂指令理解，同时可多模态融合，并支持外部增强API。总体而言，其主要功能包括多轮对话、文案创作、逻辑推理、多...
T repo of Qwen-VL (通义千问-VL) chat & pretrained large vision
02-07
通义千问-VL是一个大型预训练模型，它在视觉-语言任务上进行了优化，能够进行聊天对话并处理与图像相关的问答。这个项目是基于Python编程语言构建的，因此了解Python的基本语法和库是理解该项目的关键。 在Python中...
人工智能AI：计算机视觉-日常物品图像分类（1300种物品+）
03-05
人工智能AI：计算机视觉-日常物品图像分类（1300种物品+） 关键词：通用分类、通用领域、图像分类、计算机视觉、人工智能、AI、大模型、多模态大模型、API、Docker、镜像 内容摘要： 人工智能AI：日常物品图像分类...
AGI 之 【Hugging Face】 的【问答系统】的 [构建问答系统] / [ 构建基于评论的问答系统 ] 的简单整理
仙魁XAN
07-12 817
AGI，即通用人工智能（Artificial General Intelligence），是一种具备人类智能水平的人工智能系统。它不仅能够执行特定的任务，而且能够理解、学习和应用知识于广泛的问题解决中，具有较高的自主性和适应性。AGI的能力包括但不限于自我学习、自我改进、自我调整，并能在没有人为干预的情况下解决各种复杂问题。AGI能做的事情非常广泛：跨领域任务执行：AGI能够处理多领域的任务，不受限于特定应用场景。自主学习与适应：AGI能够从经验中学习，并适应新环境和新情境。
聊聊如何在内网下构建大模型微调环境
python1234567_的博客
07-12 819
LlamaFactory新版更新后，还是比较方便，只是说llamafactory-cli命令的确是有点蒙，踩个坑就好了。对于LlamaFactory微调来说，本身不难，毕竟都是配置；主要是在内网环境下的依赖包拉取安装是真麻烦，但其实也还好。走一遍的话，还是可以学到很多的。​。
阿里发布大模型发布图结构长文本处理智能体，超越GPT-4-128k
夕小瑶科技说
07-09 908
随着大语言模型的发展，处理长文本的能力成为了一个重要挑战。虽然有许多方法试图解决这个问题，但都存在不同程度的局限性。最近，阿里巴巴的研究团队提出了一个名为GraphReader的新方法，通过将长文本组织成图结构，并利用智能体来探索这个图，成功提升了模型处理长文本的能力。GraphReader的核心思想是将长文本分解成关键元素和原子事实，构建成一个图，然后让智能体在这个图中探索和推理。这种方法不仅能有效处理超长文本，还在多跳问答等复杂任务上取得了优异表现。
CV06_Canny边缘检测算法和python实现
https://github.com/foxpup11?tab=repositories
07-11 844
https://www.bilibili.com/video/BV1qU4y1U7aK/?spm_id_from=333.337.search-card.all.click&vd_source=7dace3632125a1ef7fd32c285eb2fbac
人力资源人工智能依赖于良好的数据
yongyoudayee的博客
07-12 733
人力资源不断发展(HR)人工智能在技术领域(AI)它已经成为改变游戏规则的力量。人工智能驱动的工具有望简化人力资源流程，提高管理能力，彻底改变员工体验。然而，这些人工智能解决方案的有效性仅取决于算法的复杂性或计算硬件的能力。事实上，这种模式的很大一部分取决于一个基本的——良好的数据。
sklearn基础教程：掌握机器学习入门的钥匙
最新发布
AIGC绘图领域探索者，热衷于将创意与技术融合，致力于分享前沿AI绘图技巧与心得，让我们一起开启视觉艺术的新篇章。
07-13 740
是基于Python的一个开源机器学习库，它建立在NumPy、SciPy和matplotlib之上，提供了大量的算法和工具，用于数据挖掘和数据分析。无论是简单的线性回归，还是复杂的神经网络，sklearn都能提供直观易用的接口。作为Python中最为流行的机器学习库之一，以其简洁的API、丰富的算法和强大的功能赢得了广大用户的青睐。通过本文的介绍，相信你已经对sklearn有了初步的了解，并能够开始进行一些基础的机器学习任务。
7.深度学习概述
MechMaster
07-10 960
1. 线性回归 1.1 线性回归一般表达式 1.2 线性回归内积表达方式： 1.3 多个样本时，线性回归的进一步表达： 1.4 线性回归方程的解析 1.5 线性回归就是求loss函数的最小值 2. 如何求函数最小值 2.1 一个例子 2.2 求导法——求最小值 2.3 求导法存在的问题 2.4 迭代法——求最小值 3. 代码实现 3.1 手动求函数最小值 3.2 使用pytorch求函数最小值
LaneNet(1):网络结构详解
m0_51579041的博客
07-13 491
LaneNet(1):网络结构详解
ChatGPT-真格基金分享 .pdf
06-05
ChatGPT是由OpenAI开发的一款人工智能技术驱动的语言模型应用，它在对话理解和生成上表现出显著的进步。在对比GPT-3时，ChatGPT的主要提升点包括： 1. 质疑不正确的前提：ChatGPT更敢于挑战和纠正输入信息中的错误...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值