以DeepSeek-VL为例，详解视觉语言模型原理及代码

于 2024-08-27 17:02:46 发布
阅读量2 收藏
点赞数
文章标签： 语言模型 人工智能 自然语言处理
原文链接：https://mp.weixin.qq.com/s?__biz=MzI3ODgwODA2MA==&mid=2247529067&idx=2&sn=29be5db70aaf3c9514b77bced4f88eba&chksm=eaa134b137bf5c53566b7af9e53016c1cdff408c221372e002842f1d6fb3cbb6abfefded0e38&scene=126&sessionid=0
版权

来自：炼钢AI

 最近开始看看视觉语言模型（VLM）相关的东西了，之前没特别仔细看过代码。翻了几篇比较知名的开源VLM技术报告，感觉DeepSeek-VL算是写的比较好的，因此本文就以DeepSeek-VL为例，结合代码写一写VLM的细节。VLM和LLM比较共性的东西比如Self Attention之类的本文就不过多介绍了，重点讲一讲VLM独有的内容。

DeepSeek-VL github链接：https//github.com/deepseek-ai/DeepSeek-VL/tree/main

1

原理

1.1 模型训练

    VLM通常分为3个部分：视觉编码编码器、视觉适配器和LLM。

    视觉编码器用于将图像转换为向量表示，在DeepSeek-VL中，图像被视觉编码器转换为576个向量（图像的token embedding）。VLM的视觉编码器直接使其他模型预训练好的参数，普遍使用的视觉编码器结构为ViT（Vision Transformer），但可能是不同方式训练出来的，例如DeepSeek-VL使用的是Siglip和SAM训练出来的ViT，而Qwen-VL使用的是OpenCLIP的ViT。

    视觉适配器用于将用于将ViT的输出图像的token embeeding映射到与文本embedding相同的空间，便于让LLM理解图像中的内容。常见的结构有多层MLP、cross attention等。

    LLM是VLM的核心，视觉编码器和适配器最终产出的图像的token embedding都是要输入到LLM进行理解的，并由LLM输出关于图像的回答。    

    DeepSeek-VL训练可分为3个阶段（不同VLM训练的阶段数和每个阶段里训练哪部分参数会有所不同），如下图所示：

e0d76aa3b285d7022336ad34b5533e1d.png

阶段1：这一阶段的主要目标是将视觉和语言信息在embedding空间建立联系，从而促进LLM能对图像中的实体有所理解。该阶段只对视觉适配器部分的参数继续进行训练，LLM和视觉编码器的参数冻结。该阶段训练了从ShareGPT4V 获得的 125 万个图像-文本对，以及 250 万个从文档OCR出来的图像文本对。

阶段2：该阶段主要目标是让LLM理解图像输入，保持图像编码器参数冻结，训练图像适配器以及LLM。如果单纯使用图像-文本对来训练LLM的话，会使LLM的语言能力下降，因此训练数据中也混合了纯文本数据，多模态数据：纯文本数据=7：3。

阶段3：该阶段是指令微调阶段，增强模型的指令遵循与对话能力。该阶段对视觉编码器、视觉适配器和LLM进行联合训练。和LLM的SFT过程类似，输入的instruct部分不计算loss。和阶段2类似，除了多模态数据外，该阶段也使用了纯文本数据进行训练。

1.2 模型结构

    具体的模型结构方面，DeepSeek-VL的LLM部分使用的是自家的DeepSeek LLM模型，具体结构上也没啥特别的，本就不再过多介绍了。

    视觉编码器方面，DeepSeek-VL使用了两个ViT模型：SigLIP的ViT接收384*484低分辨率的图像，用来提取粗粒度的图像信息；SAM-B的ViT接收1024*1024的高分辨率图像，用来提取更加细致的图像信息。在介绍SigLIP和SAM之前，先简单介绍一下ViT的结构。

b44b2a0bb34cd40bb9f42e6b76425566.png

如上图所示，ViT的原理非常简单，就是将一张P*P大小的图像，切分为(P/p)*(P/p)个大小为p*p的patch，然后用d个卷积核为p*p大小的CNN将每个小patch转换为d维token embedding，并铺平成序列、加入位置编码后，就能输入到常规的Transformer Block里边了。

    介绍完ViT的原理后，我们也来简单看下SigLIP和SAM的ViT结构是怎么训练的。SigLIP相当于是CLIP的改进，训练范式示意图都可用下图表示。训练数据是图文对，图片和文本分别通过各自的编码器变成向量（图像编码器就是我们VLM需要ViT），然后通过训练，使图像向量和他对应的文本向量不断接近、和他不相关的文本向量不断推远。

c129fcce850352a2b31ddc4496df16ee.png

    CLIP使用的是对比学习领域的InfoNCE Loss，如下公式所示，x，y分别表示图像向量或者文本向量，和某一图片不相关的文本来自于同一个batch里其他图片相关的文本。

a0c65e3d283cbc3b6f97c29d309e3fb6.png

这种负例来自于同一个batch里其他数据对的训练方式有个规律是，batch越大，训练效果越好。为了不断加大batch大小，可以采用多卡分布式训练，每次在计算loss前，做一次all gather操作，即将每张卡上的图文向量互相传播出去，这样就等价于增大batch size了，因为算softmax需要收集到所有的worker的向量，有比较大的通信开销。

    SigCLIP改进了CLIP的loss，如下公式所示：

0da4984d6b5657b6697b47a08872eeae.png

因为不涉及到softmax，不用做all gather操作，只需要进行多次两卡之间的通信，分块计算各卡之间的图像和文本的loss即可，减少了通信量及内存访问量，增加了计算效率。

    SAM是一个通用分割模型，可根据prompt（这块的prompt不只是文本，也可以是一个点，或者是图像框）对图像中的物体进行分割，整体结构如下图所示。使用图中的结构为ViT的“image encoder”当作DeepSeek-VL的图像编码器。

33f36d86ac62b9113f01e3cd2c4e29c6.png

    视觉适配器方面，DeepSeek-VL仅使用了MLP将SigLIP和SAM的ViT输出进行了融合变换，第二份部分“代码讲解”给出结构图，此处便不再赘述。

2

代码讲解

    以deepseek-ai/deepseek-vl-7b-chat为例进行讲解，需要用到两个地方的文件/代码：

模型配置及权重文件：https://huggingface.co/deepseek-ai/deepseek-vl-7b-chat/tree/main
模型调用代码：https://github.com/deepseek-ai/DeepSeek-VL/tree/maino world!");

从上文模型结构的相关内容可以看出，VLM和LLM在生成原理上并没有什么不同，只不过输入中引入图像token罢了。本文默认读者对LLM有一定了解，代码讲解重点放到VLM独有的一些功能上。放上官方提供的推理demo，以此为主要线索进行讲解。

import torch
from transformers import AutoModelForCausalLM
from deepseek_vl.models import VLChatProcessor, MultiModalityCausalLM
from deepseek_vl.utils.io import load_pil_images
# specify the path to the model
model_path = "deepseek-ai/deepseek-vl-7b-chat"
vl_chat_processor: VLChatProcessor = VLChatProcessor.from_pretrained(model_path)
tokenizer = vl_chat_processor.tokenizer
vl_gpt: MultiModalityCausalLM = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True)
vl_gpt = vl_gpt.to(torch.bfloat16).cuda().eval()
## single image conversation example
conversation = [
    {
        "role": "User",
        "content": "<image_placeholder>Describe each stage of this image.",
        "images": ["./images/training_pipelines.jpg"],
    },
    {"role": "Assistant", "content": ""},
]
# load images and prepare for inputs
pil_images = load_pil_images(conversation)
prepare_inputs = vl_chat_processor(
    conversations=conversation,
    images=pil_images,
    force_batchify=True
).to(vl_gpt.device)


# run image encoder to get the image embeddings
inputs_embeds = vl_gpt.prepare_inputs_embeds(**prepare_inputs)
# run the model to get the response
outputs = vl_gpt.language_model.generate(
    inputs_embeds=inputs_embeds,
    attention_mask=prepare_inputs.attention_mask,
    pad_token_id=tokenizer.eos_token_id,
    bos_token_id=tokenizer.bos_token_id,
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=512,
    do_sample=False,
    use_cache=True
)
answer = tokenizer.decode(outputs[0].cpu().tolist(), skip_special_tokens=True)
print(f"{prepare_inputs['sft_format'][0]}", answer)

首先来看一下VLM的模型文件有哪些：

eb0118463b892442d4ba59097d31cbde.png

1. VLChatProcessor.from_pretrained会读取如下三个配置文件，都是和数据处理相关的，返回用于数据处理的类对象vl_chat_processor：

tokenizer_config.json: 这个了解LLM的同学应该比较熟悉，描述了和文本相关的tokenizer信息，包括新加入词表的单词等。
preprocessor_config.json：描述了详细的预处理图像时的数值，归一化图像数值的均值、方差，输入模型的图像大小，图像背景颜色等。
processor_config.json：描述了图像在输入VLM prompt中的占位符（deepseek-vl为“<image_placeholder>”）、图像转换为token的数量（deepseek-vl为576）等。

2.DeepSeek-VL的输入数据格式如下，和LLM很像，用dict表示，除了包含角色（role）和prompt文本（content）外，还包含图像的路径（images）。“<image_placeholder>”表示图像token化之后在prompt中的位置，VLM支持输入多个图像（content包含多个占位符，images包含多个图片路径）。

conversation = [
    {
        "role": "User",
        "content": "<image_placeholder>Describe each stage of this image.",
        "images": ["./images/training_pipelines.jpg"],
    },
    {"role": "Assistant", "content": ""},
]

3.load_pil_images：加载图像，支持base64格式和正常的图像格式，调用比较常用的PIL.Image.open接口。

4.deepseek_vl/models/processing_vlm.py 文件中的process_one函数是数据预处理的主逻辑，首席按会调用apply_sft_template_for_multi_turn_prompts接口将上述dict格式的输入转换为一个字符串，如下所示:

You are a helpful language and vision assistant. You are able to understand the visual content that the user provides, and assist the user with a variety of tasks using natural language.
User: <image_placeholder>Describe each stage of this image.
Assistant:

包含system prompt，role等。然后直接使用tokenizer把字符串转换未token id。

5. 目前图像占位符（<image_placeholder>）在token id中仅占一个位置（对应的token id为100015），但最终输入到LLM中的图像占的token数量是576，需要提前扩充，通过如下代码找到输入的token id中图像的位置，然后调用add_image_token函数将每一个图像占位符复制成576个，此时可以得到最终的输入到LLM中的token id list。

image_token_mask: torch.BoolTensor = input_ids == self.image_id
image_indices = image_token_mask.nonzero()

最终的token id list如下所示：

[100000,   2054,    418,    245,   9394,   4706,    285,  10046,  20308,
 13,   1257,    418,   2249,    276,   2579,    254,   7959,   3093,
344,    254,   2677,   4614,     11,    285,   4750,    254,   2677,
366,    245,   6265,    280,   9224,   1244,   3892,   4706,     13,
185,    185,   5726,     25,    207, 100015, 100015, 100015, 100015,
100015, 100015, 100015, 100015, 100015, 100015, 100015, 100015, 100015,
100015, 100015, 100015, 100015, 100015, 100015, 100015, 100015, 100015,
...
100015, 100015, 100015, 100015, 100015, 100015, 100015, 100015, 100015,
100015, 100015, 100015, 100015, 100015,  41800,   1319,   6351,    280,
437,   3324,     13,    185,    185,  77398,     25]

6. 然后调用VLMImageProcessor类对图像进行预处理，都是图像领域比较常规的一些操作：

(1)图像resize：通过如下计算方法，将图像等比例的进行缩放，令图像的高或宽（较大的那个）变为self.image_size大小，防止图像畸形，然后调用expand2square方法用背景色将图像填充成self.image_size*self.image_size（1024*1024）大小。

width, height = pil_img.size
max_size = max(width, height)
size = [
        max(int(height / max_size * self.image_size), self.min_size),
        max(int(width / max_size * self.image_size), self.min_size),
        ]

(2) 像素值归一化：原始像素值为0-255，转换为0-1。

(3)像素值标准化：均值为[0.48145466,0.4578275,0.40821073],方差为[0.26862954,0.26130258,0.27577711]

7. VLChatProcessor类还提供了batchify方法，可将多个输入打包成一个batch，用于后续进行batch推理。基本原理是将一个batch里短的序列pad到batch里最长序列的长度（左边补pad id）。通过构造attention mask，防止pad id对最终输出造成影响。

8. 至此我们拿到了需要的所有token id，对于纯以文本当作输入的LLM来说，直接将token id传入LLM的调用接口就可以了，LLM会用token id去索引embedding层，得到每个token的embedding。但是对于VLM来讲，输入中有图像，图像对应的token是用视觉模型提取出来的，DeepSeek-VL设计了prepare_inputs_embeds去统一提取文本和图像的embedding。prepare_inputs_embeds调用HybridVisionTower类对象去生成图像的embedding，HybridVisionTower调用如下两个模型，两个模型输入图像分辨率不同，但是都是同一张图像，分别提取图像的粗粒度和细粒度信息。

_

模型名称

输入分辨率

低分辨率模型

siglip-ViT

384*384

高分辨率模型

SAM-ViT

1024*1024

每张图像使用了2个视觉模型转换，输出的tensor维度均为（batchsize,image token num(576),dim(1024)）还需要考虑如何进行合并，DeepSeek-VL的HybridVisionTower类提供了如下几种方法，按顺序依次为在dim维度拼接、在序列维度拼接、embedding相加，以及不处理直接返回tuple（后续别的模块处理，DeepSeek采用这种方式）。

if self.concat_type == "feature":
    images_features = torch.cat([high_res, low_res], dim=-1)
elif self.concat_type == "sequence":
    images_features = torch.cat([high_res, low_res], dim=1)
elif self.concat_type == "add":
    images_features = high_res + low_res
elif self.concat_type == "tuple":
    images_features = (high_res, low_res)

9. 对于低分辨率模型siglip，将输入为384*384大小的图像分为576（24*24）个大小为16*16的图像patch，然后使用1024个卷积核大小为16*16，步长也为16的二维卷积，将图像转为（576，1024）大小。具体实现上，DeepSeek使用的是timm库的PatchEmbed类，感兴趣的同学可通过以下代码import之后点进类的定义看看：

from timm.layers import PatchEmbed

位置编码是可学习的位置编码，形状也为（576，1024），具体使用方式如下：

# 定义位置编码
pos_embed = nn.Parameter(torch.randn(1, embed_len, embed_dim) * 0.02)
...
# 直接将位置编码加到输入上
x = x + pos_embed

然后就是过12层VIT的block了，最终的输出形状也为（576，1024）。因为在推理时我们只需要用VIT拿到图像的表征，即VIT最后一层block的输出，因此DeepSeek-VL的代码中并没有体现siglip模型的sigmoid loss。

10. 高分辨率模型SAM（其实只有SAM的视觉编码器部分）的结构如下图所示，比siglip结构更复杂一些。sam的一个patch依然是16*16的，使用768个2维卷积核将图像patch转换为patch embedding，因此patch embedding的形状为(64，64，768)。VIT block基本是一个transformer block，包含self attention层和FFN层。虽然输入中加入了可学习位置编码，但是在计算self attention时，依然加入了相对位置编码（代码及比较长，就不贴了，在deepseek_vl/models/sam.py的get_rel_pos和add_decomposed_rel_pos函数中实现）。SAM的输出形状为（1024，24，24），reshape之后形状就和siglip输出的形状一致了，均为（576，1024）。

4fd8858b03e822996ba4fde907968150.png

11.分别使用siglip和SAM的VIT结构得到图像的token embedding（维度都为(576,1024)）表示之后，需要使用适配器（由MlpProjector类实现）将图像token embeding映射到和文本token embedding对齐。具体结构如下：

65cc56f9c6f77d0eeeda2ac48c46c34d.png

12. 在最终的token id list中，id为100015（图像占位符）的位置放入适配器输出的图像的token embedding，其他token id直接从LLM的 embedding table中进行索引得到token embedding。然后将得到的所有token embedding传入LLM generate接口的inputs_embeds参数中。如果传入inputs_embeds参数，LLM内部代码就不会去用token id去索引embedding table了。

outputs = vl_gpt.language_model.generate(
    inputs_embeds=inputs_embeds,
    attention_mask=prepare_inputs.attention_mask,
    pad_token_id=tokenizer.eos_token_id,
    bos_token_id=tokenizer.bos_token_id,
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=512,
    do_sample=False,
    use_cache=True
)

备注：昵称-学校/公司-方向/会议(eg.ACL)，进入技术/投稿群

dc6b359cd75a265ea99fead9489ddf25.png

id：DLNLPer，记得备注呦

zenRRan
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【视觉语言模型】DeepSeek-VL: Towards Real-World Vision-Language Understanding
Arachis_X的博客
03-13 1181
我们推出的是一个开源的视觉语言（VL）模型，专为真实世界的视觉和语言理解应用而设计。我们的方法围绕三个关键维度展开：我们努力确保数据的多样性和可扩展性，并广泛涵盖现实世界的各种场景，包括网页截图、PDF、OCR、图表和基于知识的内容，旨在全面呈现实际语境。此外，我们还根据真实用户场景创建了用例分类法，并据此构建了指令调整数据集。利用该数据集进行的微调大大改善了模型在实际应用中的用户体验。
视觉语言模型详解
Hugging Face
04-29 708
视觉语言模型可以同时从图像和文本中学习，因此可用于视觉问答、图像描述等多种任务。本文，我们将带大家一览视觉语言模型领域: 作个概述、了解其工作原理、搞清楚如何找到真命天“模”、如何对其进行推理以及如何使用最新版的 trl 轻松对其进行微调。trlhttps://github.com/huggingface/trl什么是视觉语言模型？视觉语言模型是可以同时从图像和文本中学习的多模态模型，其属于生成模...
【机器学习】阿里Qwen-VL：基于FastAPI私有化部署你的第一个AI多模态大模型
人工智能领域博客
06-17 7120
本文首先在引言中强调了一下OpenAI兼容API的重要性，希望引起读者重视，其次介绍了Qwen-VL的原理与模型结构，最后简要讲了下FastAPI以及搭配组件，并基于FastAPI封装了OpenAI兼容API的Qwen-VL大模型服务端接口，并给出了客户端实现。本文内容在工作中非常实用，希望大家能有所收获并与我交流。期待您的关注+三连
下一代视觉语言模型对比：CogVLM2、InternVL与多模态应用
全世界的博客
05-23 2455
CogVLM2作为下一代的视觉语言模型，集成了强大的多模态理解能力，它能够处理复杂的图像和长篇幅的文本，支持用户进行多轮的视觉和文本交互。跨模态理解：理解图像与文本的结合，执行图像描述、问答、视觉推理等任务。长文本处理：处理长达8,000个字符的文本，适合处理长文档和复杂对话。高分辨率图像支持：处理最高1344x1344分辨率的图像，保持视觉细节。多轮对话：支持与用户进行多轮视觉和文本对话，保持对话的连贯性和准确性。视觉接地：根据文本描述定位图像中的对象，实现视觉与语言的无缝连接。
【LLM多模态】InternVL模型架构和训练过程
发现问题，并解决问题，批判性思维
07-13 2246
视觉编码器：InternViT-6B 动态高分辨率（和很多多模态LLM不一样的地方）：我们将图像根据输入图像的纵横比和分辨率划分为1到40块，每块为448×448像素（图像很大则会被切分，每个块被模型独立处理，可以更好地处理图像的细节），从而支持高达4K分辨率的输入（40个小块）。具体的处理方法如下图。 使用pixel shuffle将视觉token减少到原来的四分之一（原始为1024个token）。PixelUnshuffle操作（即Space2Depth操作，即把相邻区块的特征从空间维度往通道维度上堆叠
【机器学习】GLM4-9B-Chat大模型/GLM-4V-9B多模态大模型概述、原理及推理实战
热门推荐
人工智能领域博客
06-06 1万+
本文首先对GLM4-9B的模型特点及原理进行介绍，接着分别对GLM4-9B-Chat语言大模型和GLM-4V-9B多模态大模型进行代码实践。排了很多坑，推荐阅读和收藏。
【机器学习】基于YOLOv10实现你的第一个视觉AI大模型
人工智能领域博客
05-31 7398
本文​​​​首先介绍视觉模型在人工智能领域的位置，其次对原理概念初步进行说明，之后对推理与训练过程进行详细阐述，最后通过一个实战例子，用极少的代码行数将笔记本电脑的摄像头改装为实时视频监控，目标是让读者通过读完此文，快速上手YOLOv10技术进行物体目标检测，
多模态大模型技术详解（图像分块、特征对齐）
学无止境
08-24 834
这篇文档主要讲解目前比较流行的缝合式的多模态大模型的基本模块。缝合式多模态大模型的架构：包括视觉编码器、视觉文本对齐层、大语言模型，流程主要是通过视觉编码器提取图像特征，再通过视觉文本对齐层将图像和文本特征对齐，也包括对视觉特征的在提取，主要是为了减少视觉 token 的数量，然后将视觉特征和文本特征一起输入到大模型中获取结果。
【机器学习】GLM-4V：图片识别多模态大模型（MLLs）初探
人工智能领域博客
06-21 5140
本文首先在引言中强调了一下OpenAI兼容API的重要性，希望引起读者重视，其次介绍了GLM-4V的原理与模型结构，最后简要讲了下FastAPI以及搭配组件，并基于FastAPI封装了OpenAI兼容API的GLM-4V大模型服务端接口，并给出了客户端实现。本文内容在工作中非常实用，希望大家能有所收获并与我交流。期待您的关注+三连！
3月12日 工作记录 DeepSeek-VL阅读笔记
Hagtaril
03-12 918
昨天考完试，晚上把那个讨人厌的项目做了阶段结果给合作者展示去了，然后就看到deepseek发布了vision language的技术报告，于是打算今天上午看看。
DeepSeek-VL论文阅读和整理
wentinghappyday的博客
03-25 1282
DeepSeek-VL的论文理解
Qwen-VL：多功能视觉语言模型，能理解、能定位、能阅读等
pku_langzi的博客
09-21 2249
阿里的多模态大模型，以千问为基础，加入视觉理解，定位，对话，OCR等能力，并支持中英双语，在众多多模态评测基准上超过InstructBLIP等对比方法。
DeepSeekAI发布多模态大模型DeepSeek-VL：从13亿到70亿参数的多模态精确度，免费商用
nulifancuoAI的博客
03-12 919
随着人工智能技术的不断发展，多模态大模型在理解复杂世界方面的能力日益增强。DeepSeekAI，一家由幻方量化支持的创新型大模型公司，最近发布了其最新的多模态大模型系列——DeepSeek-VL。该系列包含从13亿到70亿参数的模型，旨在提高机器对图像和文本的理解能力，同时支持广泛的商业应用。DeepSeek-VL系列代表了在多模态AI领域的一大突破，提供了两种不同规模的模型，分别是13亿参数和70亿参数模型。
Qwen-VL: 一种多功能的视觉-语言模型，用于理解、定位、文本阅读等
机器学习，深度学习
08-12 994
在这项工作中，介绍了 Qwen-VL 系列，一系列大规模的视觉-语言模型（LVLMs），旨在感知和理解文本与图像。
Spark MLlib模型训练—分类算法Multinomial Logistic Regression
最新发布
08-27 192
多项逻辑回归（Multinomial Logistic Regression）是对二项逻辑回归（Binary Logistic Regression）的扩展，适用于多分类问题。当目标变量不再是二分类（如 0 或 1），而是多于两个类别（如 A, B, C），多项逻辑回归便成为了适用的选择。与二项逻辑回归类似，多项逻辑回归基于线性模型，但其核心区别在于输出类别不再局限于两个，而是扩展至多个。，模型预测的标签为 0，对应的概率为 0.876，表明该样本属于类别 0 的可能性最大。使得训练数据的似然最大。
python 实现convolution neural network卷积神经网络算法
luthane的博客
08-26 1170
卷积神经网络（Convolutional Neural Networks, CNN）是一种包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks, FNN），是深度学习的代表算法之一。基本原理CNN的核心思想是通过模拟人类视觉系统的工作方式，自动提取图像中的特征，并将其用于分类、检测、分割等任务。它主要受到了生物学上感知机制的启发，模拟了人类视觉系统中的感知细胞和复杂细胞的工作方式。
透明性和解释性AI：概念与应用
weixin_49007164的博客
08-25 1033
透明性AI指的是AI系统的操作过程、决策机制、数据流动和模型行为是可理解和可追踪的。换句话说，透明性AI使得人们可以清楚地看到AI系统是如何做出决策的，这一过程包括输入数据的处理方式、模型的内部计算过程、以及最终决策的产生机制。解释性AI是指AI系统不仅能够给出决策结果，还能够提供关于该决策如何产生的解释。解释性AI的目标是帮助用户理解AI的行为，尤其是当AI的决策与预期不符时，提供合理的解释来消除用户的疑虑。
【python计算机视觉编程——1.基本的图像操作和处理】
m0_53694086的博客
08-26 800
参数sigma为标准差（σ），是高斯滤波器的一个重要参数，它控制滤波器的平滑程度。标准差越大，高斯函数的曲线越宽，滤波器的影响范围就越大。标准差较大: 高斯滤波器会在更大范围内进行平滑，使得图像变得更加模糊，细节和边缘特征会被更强地平滑掉。标准差较小: 高斯滤波器会产生较小范围的平滑效果，图像的细节保留更多。还可以给定转换矩阵，将RGB图像转换为CIE XYZ色彩空间。图像像素值被分成128个区间，用于计算每个区间的像素值频率。可以返回目录中所有jpg图像的列表。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值