StableDiffusion模型在PCIE上的迁移与精度对齐

于 2022-11-01 13:40:52 发布
阅读量2.8k 收藏 11
点赞数 4
分类专栏： TPU实战课 文章标签： 深度学习 人工智能 计算机视觉 1024程序员节 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lily_19861986/article/details/127631496
版权

StableDiffusion模型在PCIE上的迁移与精度对齐

  1. 简介
  2. 模型介绍
    2.1 Diffusion 过程解析
  3. 模型细节
  4. 迁移细节：绕过不适配算子
    4.1 获得原始模型
    4.2 迁移CLIP中TextEncoder模型
    4.3 迁移VAE模型
    4.4 迁移Conditional U-Net模型 ：绕过不适配算子 dictconstruct, boardcast_to, eisum 算子
  5. pipeline 搭建与精度对齐
    5.1 精度对齐
    5.2 问题分析
  6. 参考资料

1. 简介

StableDiffusion 模型是一种基于 Diffusion 模型的图像生成模型，其在图像生成质量上有着显著的提升。本文将介绍如何将 StableDiffusion 模型迁移到 BM1684 中，并对其精度进行对齐。

2. 模型介绍

StableDiffusion 是一种潜在的文本到图像扩散模型，能够在给定任何文本输入的情况下生成照片般逼真的图像。

在这里插入图片描述

StableDiffusion 由三个部分组成：一个是 Diffusion 模型，一个是一个基于 Transformer 的文本编码器，最后是一个VAE，图像生成器。Diffusion 模型是一个基于扩散过程的生成模型，它能够生成高质量的latent。Transformer 是一种基于注意力机制的编码器，它能够将文本编码为一个向量。Transformer 与 Diffusion 模型的结合，使得 StableDiffusion 能够在给定任何文本输入的情况下生成照片般逼真的图像。

2.1 Diffusion 过程解析

Diffusion 过程是一个逐渐从noise中生成有意义信息的过程，其过程如下图所示：

在这里插入图片描述

训练时会从 X0 逐渐扩散到XT, 其中XT是随机噪声，X0是真实图像。在推理时，模型会从噪声中生成图像。

  1. 扩散过程(X0 −> XT)：逐步对图像加噪声，这一逐步过程可以认为是参数化的马尔可夫过程。
  2. 逆扩散过程(X0 <- XT)：从噪声中反向推导，逐渐消除噪声以逆转生成图像。

训练完成后，就能通过随机采样高斯噪声来生成图像了。实际上扩散模型和AE、VAE很类似，一个粗略的发展过程可以认为是AE–VAE–VQVAE–Diffusion，而扩散模型也逐步从DDPM–GLIDE–DALLE2–Stable Diffusion。

在这里插入图片描述
在这里插入图片描述

扩散模型可以看成层次式VAE，这或许证明了即使Encoder微小、隐空间维度固定、马尔科夫跃迁，当推广到无限层时，模型仍然能够学习到强大能力。

3. 模型细节

在这里插入图片描述
它由VAE，Unet， CLIP 文本编码器组成。

  1. VAE。在训练期间，VAE编码器用于获取图像的潜在表示（latents）以进行前向扩散过程，即加噪声。而在推理过程中，逆扩散的去噪过程使用VAE解码器生成图像。
  2. U-Net。编码解码都由ResNet组成。编码器得到图像表示，而解码器还原图像，且此时得到的应该是噪声较小的。更具体地说， U-Net 输出预测可用于计算预测去噪图像表示的噪声残差。此外，交叉注意力层被添加到 U-Net 的编码器和解码器部分（ResNet 块之间）以调节输出。
  3. CLIP。文本编码将文本转换为 U-Net输入。且和Imagen一样，Stable Diffusion在训练期间不训练文本编码器，而只是使用 CLIP 已经训练好的CLIPTextModel。

4. 迁移细节：绕过不适配算子

4.2获得原始模型

使用作者提供的预训练模型。

安装必要的库 pip install diffusers==0.2.4 transformers scipy ftfy

from diffusers import StableDiffusionPipeline

# get your token at https://huggingface.co/settings/tokens
pipe = StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v1-4", use_auth_token=YOUR_TOKEN)

prompt = "a photograph of an astronaut riding a horse" #输入文本
image = pipe(prompt)["sample"][0] #得到生成的图片

由此可以从huggingface下载预训练模型

在这里插入图片描述
原始仓库提供了多个版本

在这里插入图片描述

下载的模型会在.cache里面
在这里插入图片描述

4.2 迁移CLIP中TextEncoder模型

直接迁移 CLIP 中的 TextEncoder 模型，所提供的ONNX版本是可以的。
需要注意的是： TextEncoder 模型的输入是一个文本token序列，token是从0开始的整数，对应在设置模型的描述时添加数据类型的声明。

转换脚本是：

python3 -m bmneto --model=./text_encoder.onnx \
                  --outdir="./" \
                  --target="BM1684" \
                  --shapes="1,77" \
                  --opt=1 \
                  --cmp=false \
                  --net_name="text_encoder" \
                  --descs="[0,int64,0,49409]"

如果不设置cmp=false，则会报错.

4.3 迁移VAE模型

VAE decoder onnx 无法使用bmneto转换, 因此本次采用的是 PyTorch 的方式：

import torch
from diffusers import StableDiffusionPipeline

pipe = StableDiffusionPipeline.from_pretrained("/mnt/sdb/wangyang.zuo/.cache/huggingface/diffusers/CompVis--stable-diffusion-v1-4.main.7c3034b58f838791fc1c581d435c452ea80af274")

def fn(input_tensor): # 构造输入函数 
    with torch.no_grad():
        return pipe.vae.decode(input_tensor)
    
jitmodel = torch.jit.trace(fn, torch.rand(1,4,64,64))
jitmodel.save("vae_decoder.pt")

转换命令

python3 -m bmnetp   --model=./vae_decoder.pt \
                    --outdir="./" \
                    --target="BM1684" \
                    --shapes="1,4,64,64" \
                    --net_name="vae_decoder" \
                    --opt=2 \
                    --cmp=false

4.4 迁移Conditional U-Net模型 ：绕过不适配算子 dictconstruct, boardcast_to, eisum 算子

这个模型较大，得到的jit模型有3.4G，首先需要注意的是，模型是多输入，其输入顺序如源码所示：

在这里插入图片描述

通过构造输入，得到jit模型， 其中各个输入信息如下：

timestep 1
latent_model_input.shape
(2, 4, 64, 64)
text_embeddings.shape
(2, 77, 768)

通过调试可以知道timestep的初始值为999， 因此timestep 为 torch.tensor(999).

转换脚本为：

import bmnetp
## compile fp32 model
bmnetp.compile(
  model = "./unet/unet_jit_remove_pickle_error.pt",        ## Necessary
  outdir = "./compilation5",                 ## Necessary
  target = "BM1684",              ## Necessary
  shapes = [[2,4,64,64], [2], [2,77,768]],  ## Necessary
  net_name = "unet2",              ## Necessary
  opt = 0,                        ## optional, if not set, default equal to 1
  dyn = False,                    ## optional, if not set, default equal to False
  cmp = False,                     ## optional, if not set, default equal to True
  enable_profile = False,           ## optional, if not set, default equal to False
)

提示报错为：
在这里插入图片描述

  • 修改DictConstruct

然后后续执行jit时有诸多问题：非torch类型的数据无法trace， 存在输出为dict。

通过源码可以看到，Conditional U-Net模型的输出是一个dict，我们将其修改为输出tensor，然后再进行trace。
在这里插入图片描述

  • 修改不适配 aten::boardcast to

查看源码可以看到，
在这里插入图片描述

继续查看源码，发现只有这一处出现了boardcast_to算子， 而且是在网络前半部分出现的，只于timestamp有关，其作用时将timestemp的维度改为输入的batch维度. 因此，此算子可以抽离出来，将其转化为预处理， 因此修改源码为：
在这里插入图片描述

这两个修改后，可以得到jit模型，但是在转换时仍会报错，eisum求和错误。
在这里插入图片描述

这是因为我们的SDK，对于部分eisum算子不支持。

考虑到eisum是运算节点，而非数据存储节点，因此可以将其转化为其他算子，比如bmm和transpose等，此操作不影响模型加载预训练文件。 需要注意的是，如果是带有数据的节点，如conv算子，则进行更改可能会影响预训练模型的加载，因此需要谨慎操作。

修改源码如下：
在这里插入图片描述
在这里插入图片描述

然后重新加载模型，可以得到jit模型，进行转换。

此时仍然会报错：ASSERT info: alloc 1073741824 failed

在这里插入图片描述

需要设置环境变量 export CMODEL_GLOBAL_MEM_SIZE=8589934592

到此我们可以成功将3个模型转为bmodel模型，完成模型转换工作。

5. pipeline 搭建与精度对齐

pipeline 搭建参考 stable_diffusion.openvino ,其模型为单独文件engine.py , 使用这个仓库，我们只需要替换engine.py , 然后简单修改其他文件即可.

修改后的engine.py 为:

import sophon.sail as sail 
import numpy as np 


class EngineOV:
    
    def __init__(self, model_path="",device_id=0) :
        self.model = sail.Engine(model_path, device_id, sail.IOMode.SYSIO)
        self.graph_name = self.model.get_graph_names()[0]
        self.input_name = self.model.get_input_names(self.graph_name)[0]
        self.input_shape= self.model.get_input_shape(self.graph_name, self.input_name)
        self.output_name= self.model.get_output_names(self.graph_name)[0]
        self.output_shape= self.model.get_output_shape(self.graph_name, self.output_name)
        print("input_name={}, input_shape={}, output_name={}, output_shape={}".format(self.input_name,self.input_shape,self.output_name,self.output_shape))
        
    def __str__(self):
        return "EngineOV: model_path={}, device_id={}".format(self.model_path,self.device_id)
    
    def __call__(self, args):
        output = self.model.process(self.graph_name, args)
        return output[self.output_name]

并在pipeline加载时修改 __init__函数：

        # text features
        self.text_encoder = EngineOV("./text_encoder/text_encoder.bmodel")
        # diffusion
        self.unet = EngineOV("./unet/compilation.bmodel",device_id=1)
        self.latent_shape = (4,64,64 )
        # decoder
        self.vae_decoder = EngineOV("./vae_decoder/vae_decoder.bmodel")

因为我们对conditional unet 做了更改，因此需要修改输入,设置为预处理。代码如下所示：

        batch_size = latent_model_input.shape[0]
        newt = np.tile(t, (batch_size))

        noise_pred = self.unet({
            "input.1": latent_model_input,
            "timesteps.1": newt,
            "input0.1": text_embeddings
        })

5.1 精度对齐

最开始发现我们的pipeline结果是：
在这里插入图片描述

与原始的结果不一致。

为此，我们需要对比每个模型的输出。为了方便，1. 只修改model文件，不修改pipeline文件，然后对比pipeline的输出；2. 我们将每个模型的输入输出保存到文件中，然后进行对比。 对比的方法是计算输出的L1距离和cos相似度。

另外因为 diffusion 模型的输入是随机的，因此我们需要固定输入，然后对比输出。



    # text encoder informtion record 
    tokens = torch.tensor(tokens).unsqueeze(0)
    np.save("tokens.npy", tokens.numpy())
    # text_embedding use npu engine to inference 
    text_embeddings = self.text_encoder(tokens)[0].detach().cpu().numpy()
    np.save('text_embeddings.npy', text_embeddings)
    # text_encoder onnx output shape is (1, 77, 768)
    # do classifier free guidance
    if guidance_scale > 1.0:
        tokens_uncond = self.tokenizer(
            "",
            padding="max_length",
            max_length=self.tokenizer.model_max_length,
            truncation=True
        ).input_ids
        np.save("tokens_uncond.npy", tokens_uncond)
        uncond_embeddings = self.text_encoder(torch.tensor(tokens_uncond).unsqueeze(0))
        uncond_embeddings = uncond_embeddings[0].detach().numpy()
        np.save("uncond_embeddings.npy", uncond_embeddings)
        text_embeddings = np.concatenate((uncond_embeddings, text_embeddings), axis=0)


    # conditional unet information record  
    latent_model_input = np.load("./bins/latent_model_input-{}.npy".format(i))
    newt = np.load("./bins/newt-{}.npy".format(i))
    text_embeddings = np.load("./bins/text_embeddings-{}.npy".format(i))
    
    noise_pred = self.unet({
        "input.1": latent_model_input,
        "timesteps.1": newt,
        "input0.1": text_embeddings
    })

    np.save("./predict/noise_pred-{}.npy".format(i), noise_pred)


    # vae decoder information record 
    np.save('latents.npy', latents)
    
    image = self.model.model.vae.decode(torch.tensor(latents,dtype=torch.float32).unsqueeze(0)).detach().cpu().numpy()
    np.save("image.npy", image)

通过对比，我们发现：

  1. text encoder 模型，在输入一致时，输出相似度为99.9999%, l1距离为1e-7;
  2. conditional unet 模型，在输入一致时，输出相似度为99.7%, l1距离为0.01;
  3. vae decoder 模型，在输入一致时，输出相似度为99.9999%, l1距离为1e-7;

粗看并没有太大的差异，但是conditional unet会循环32次，因此我们跟踪每次的conditional unet的输入输出，对比发现：

在这里插入图片描述

循环损失下，l1距离和cos都很差。

5.2 问题分析

单次的输入是一致时, conditional unet 的差异只是0.01，所以模型的问题应该并不大 ，需要避免循环损失。 进一步查看源代码发现： conditional unet 的输入中timestamp，会走embedding，这说明timestamp应该是整数，而不是浮点数。 而我们转模型时，timestamp的输入是浮点数，因此我们需要修改timestamp的输入为整数。
修改转模型命令为：

import bmnetp
## compile fp32 model
bmnetp.compile(
  model = "./unet/unet_jit_remove_pickle_error.pt",        ## Necessary
  outdir = "./compilation5",                 ## Necessary
  target = "BM1684X",              ## Necessary
  shapes = [[2,4,64,64], [2], [2,77,768]],  ## Necessary
  net_name = "unet2",              ## Necessary
  opt = 0,                        
  dyn = False,                    
  cmp = False,                     ## optional, if not set, default equal to True
  enable_profile = False,           ## optional, if not set, default equal to False
  desc="[1,int64,0,10000000]", # 额外添加的参数  
)

并修改预处理为：

        batch_size = latent_model_input.shape[0]
        newt = np.tile(t, (batch_size)).astype(np.int64)

        noise_pred = self.unet({
            "input.1": latent_model_input,
            "timesteps.1": newt,
            "input0.1": text_embeddings
        })

完成后，重新转模型，重新部署，重新测试，发现精度对齐。

参考资料

[1] High-Resolution Image Synthesis With Latent Diffusion Models

@InProceedings{Rombach_2022_CVPR,
    author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},
    title     = {High-Resolution Image Synthesis With Latent Diffusion Models},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month     = {June},
    year      = {2022},
    pages     = {10684-10695}
}

[2] https://blog.csdn.net/qq_39388410/article/details/126576756

算能开发者社区
关注
  • 4
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
博客
TPU编程竞赛系列｜第八届集创赛“算能杯“报名开启！
01-19 1242
CV1800B/SG200x 系列开发板是基于算丰CV1800B/SG200x处理器所设计的开源硬件，能够同时运行基于LINUX和RTOS的操作系统，为专业人士、工业OEM企业、物联网爱好者、业余爱好者、DIYers和创作者提供了一个可靠、低成本且极具功能的平台。我们期待参赛者们能够充分利用TPU算力，推动边缘设备智能化应用的创新和发展，在兼备边 缘系统创新性、实用性和复杂性的同时，鼓励将大语言模型、边缘计算等新兴技术应用于不同场景和垂直领域。可广泛用于教育、文旅、工业、园区、物联设备等。
博客
milkv-duo cvi-mmf 硬件加速 JPG 解码性能测试
01-19 966
本文是基于 nihui 老师的 opencv-mobile 对其支持 milkv-duo cvi-mmf 硬件加速 JPG 解码的测试。opencv-mobile 现已支持 milkv-duo cvi-mmf 硬件加速 JPG 解码仅供学习交流使用，侵删！opencv-mobile highgui 模块在运行时动态加载 cvi 库，JPG 硬件解码无需修改代码，与自动支持支持EXIF自动旋转，支持直接解码为grayscale。
博客
【2023 CCF 大数据与计算智能大赛】基于TPU平台实现超分辨率重建模型部署 基于Real-ESRGAN的TPU超分模型部署
01-05 1381
也就是说，这个下采样的模糊核是预先定义好的。模型部署使用的是算能提供的C++版本的 SophonSDK中的bmcv等加速库进行图像加载、数据前处理、模型推理、数据后处理等操作。SophonSDK是算能科技基于其自主研发的 AI芯片所定制的深度学习 SDK，涵盖了神经网络推理阶段所需的模型优化、高效运行支持等能力，为深度学习应用开发和部署提供易用、高效的全栈式解决方案。模型部署使用的是算能提供的C++版本的 SophonSDK中的bmcv等加速库进行图像加载、数据前处理、模型推理、数据后处理等操作[3]。
博客
【2023 CCF 大数据与计算智能大赛】基于TPU平台实现超分辨率重建模型部署 基于QuickRNet的TPU超分模型部署
01-05 1154
为了结合1.2.1和1.2.2的优缺点，本方案提出使用膨胀推理多推少取的方案，将原始图像四周填充10个像素，采用192*192的滑窗，按照182的步长进行滑动，其中10为超参数。相比于1.2.1的方案，有重叠区域的分块类似的但是采用滑窗步距为96，这种方案可以有效的减少1.2.1重叠区域带来的问题，但是如何融合重叠区域的结果是比较大的问题，采用均值的方案会让重叠区域采样的效果变得平滑，但是降低了锐化的效果，并且不同的滑窗步距会影响niqe值和推理的速度。
博客
【2023 CCF 大数据与计算智能大赛】基于TPU平台实现超分辨率重建模型部署 基于FSRCNN的TPU平台超分辨率模型部署方案
12-28 1449
我们比较GSR与CSR和GSR与ESR的t检验p值，相较后者，GSR与CSR的p值较大，这也就意味着，从统计平均的意义而言，GSR与CSR之间的统计特性更加接近。受此启发，对于增大图像分辨率的任务，直接通过插值算法放大的质量通常比使用超分辨率模型放大的效果更差，因此我们可以仅使用超分辨率模型放大图像中对视觉效果影响更大的一部分，从而在时间和效果之间达到更好的平衡。实验结果表明，我们的方法在牺牲一部分图像质量评估指标NIQE的情况下，显著减少了处理时间，在赛题给定的评价指标上具有较高的得分。
博客
【2023 CCF 大数据与计算智能大赛】基于TPU平台实现超分辨率重建模型部署 基于预训练ESPCN的轻量化图像超分辨率模型TPU部署方案
12-28 1333
考虑到TPU设备的计算性能相对较低，我们主要调研了轻量化的图像和视频超分辨率网络，并先后尝试了Real-ESRGAN[1]、NinaSR[4]、CARN、FSRCNN、ESPCN[2]等多种网络结构，最后选定了使用ESPCN。模型编译过程中需要确定输入张量的尺寸，虽然TPU文档里指出支持动态大小输入，但可用的SDK并未提供此功能，因此为了应对尺寸各异的输入图像，做统一尺寸的图像分块是必要的步骤。分块大小直接决定了分块数量，间接决定了模型处理处理的事件，因此合适的分块大小选取可以节省不必要的额外计算开销。
博客
拥抱开源生态，算能携手软件所 PLCT 实验室联合举办 RISC-V 软件移植优化锦标赛
11-17 264
RISC-V已在MCU/IoT领域出货数十亿，正向桌面计算、HPC、AI、数据中心等大算力领域挑战。为了推动RISC-V生态迅速发展，算能作为RISC-V生态的领先企业，与RISC-V 中国社区、中科院软件所PLCT实验室联合发起“RISC-V软件移植及优化锦标赛”活动。算能致力于成为全球领先的通用算力提供商，专注于深度学习、RISC-V 处理器等算力产品的研发和推广应用，遵循全面开源开放的生态理念 ，为互联网、城市运营、智算中心、泛安防、智能制造、AIGC等应用场景提供算力产品及整体解决方案。
博客
Stable Diffusion大模型巅峰对决，第五届全球校园人工智能算法精英赛正式启动！
11-08 634
近日，2023第五届全球校园人工智能算法精英赛正式开启报名。作为赛题合作方，清湛联合算丰承办了“算法专项赛”赛道，提供赛题。，同时为参赛选手提供了丰富的云端TPU资源及Airbox算力硬件。「面向Stable Diffusion的图像提示语优化」
博客
Duo cv1800b first time 搭建C编译及远程gdb环境
11-06 408
使用Duo 搭建C编译及远程gdb环境教程。
博客
stb_image jpg解码 RVV优化和在 milkv-duo 上的测试
10-12 168
来源：转载自https://forum.sophgo.com/t/stb-image-jpg-rvv-milkv-duo/240，原作者stb_image jpg解码 RVV优化和在 milkv-duo 上的测试。
博客
TPU编程竞赛｜算丰助力2023 CCF大数据与计算智能大赛！
10-09 332
Stable Diffusion模型以扩散过程为基础，能够精准捕捉图像细节和纹理，开创了图像生成领域的新可能性。但直接利用模型生成高分辨率图像的效率较低，通常需要将其与超分辨率重构模型结合。因此，借助TPU平台部署高效的超分辨率模型，有利于进一步挖掘Stable Diffusion模型潜力，提升高分辨率图像生成效率。
博客
TPU编程竞赛｜Stable Diffusion大模型巅峰对决，第五届全球校园人工智能算法精英赛正式启动！
10-09 2434
TPU编程竞赛，提供如何在TPU部署Demo关注算丰SOPHON，参与更多赛事。
博客
TPU-MLIR——实现Chatglm2-6B大模型移植部署
09-21 474
本项目实现BM1684X部署语言大模型。通过编译器将模型转换成bmodel，并采用c++代码将其部署到BM1684X的PCIE环境，或者SoC环境。
博客
深度学习编译器关键组件
09-14 318
为了避免这种情况，DL编译器采用了两种方法来实现硬件相关的优化：1）在LLVM的上层IR（例如，基于Halide的IR和基于Polyhedral的IR）中执行特定于目标的循环变换；TVM将Halide IR改进为符号IR，它消除了对LLVM的依赖，重构了项目模块的结构和Halide的IR设计，追求更好的组织以及对graph-IR和前端语言（如Python）的可访问性。事实上，相同的操作在不同的数据布局中的性能是不同的，并且最佳的布局在不同的硬件上也是不同的。因此，DCE和CSE是在其他图优化之后应用的。
博客
实现CenterNet图像分割算法模型的转换和量化（SDK0301-转ONNX编译）
09-07 342
如果模型是图片输入, 在转模型之前我们需要了解模型的预处理。如果模型用预处理后的npz文件做输入, 则不需要考虑预处理。如果模型是图片输入, 在转模型之前我们需要了解模型的预处理。然后用校准表, 生成对称或非对称bmodel。如果对称符合需求, 一般不建议用非对称, 因为 非对称的性能会略差于对称模型。如果对称符合需求, 一般不建议用非对称, 因为 非对称的性能会略差于对称模型。输出的性能结果, 来估算模型最大的fps, 来选择合适的模型。输出的性能结果, 来估算模型最大的fps, 来选择合适的模型。
博客
Milk-V Duo开发板实战——基于MobileNetV2的的图像分类
08-31 1042
本教程介绍使用工具链对模型进行转换，生成MLIR以及MLIR量化成INT8模型，并在开发板上进行部署测试，完成图像分类任务，涉及以下步骤：搭载的是，该芯片支持和,目前不支持TFLite模型量化数据类型方面，目前支持以下对此3个步骤展开详细介绍。
博客
ResNet18云空间部署
08-24 313
转成mlir文件后, 会生成一个 ${model_name}_in_f32.npz 文件, 该文件是模型的输入文件。编译完成后, 会生成名为 ${model_name}_1684x_f32.bmodel 的文件。指定模型定义文件, 比如`.onnx`或`.tflite`或`.prototxt`文件。指定输入的shape, 例如[[1,3,640,640]];如果不指定, 则resize成模。指定输出的名称, 如果不指定, 则用模型的输出;图片每个通道的比值, 默认为1.0,1.0,1.0。
博客
Sophnet介绍及云空间申请使用
08-17 346
SOPHNET 平台是基于SOPHON智算产品打造的云边统一的AI服务平台，是人工智能算力中心的基础设施，平台通过开放AI训练和AI推理两大核心能力，赋能千行百业。
博客
论文讲解——TPU-MLIR: A Compiler For TPU Using MLIR
08-10 522
对经过优化的TOP MLIR进行多次前向推理，获取每个中间Tensor的数据，并计算它们的统计信息，通过KL方法得到初步的阈值，然后使用误差/余弦相似度方式再微调阈值，是的INT8的计算结果和FP32的结果尽量相似。通过深层次的依赖关系来进行更为合理的切割：越深依赖关系越复杂，不限于一个op层，不是在一层conv上做切割，而是计算一个conv输出被下一个conv利用的相关性，做整个group的相关性的切割，用计算来代替搬运。TPU Dialect是用于表示TPU芯片的Kernel库，与具体的设备有关。
博客
Swintransformer模型的优化
08-07 961
自从Transformer在NLP任务上取得突破性的进展之后，业内一直尝试着把Transformer用于CV领域。之前的若干尝试都是将Transformer用在了图像分类领域，但这些方法都面临两个非常严峻的挑战，一是多尺度问题，二是计算复杂度的问题。基于这两个挑战，swint的作者提出了一种层级式提取的Transformer，并通过移动窗口的方式来学习特征。在窗口内计算自注意力可以带来更高的效率；同时通过移动的操作，让相邻的窗口之间有了交互，变相达到了一种全局建模的能力，进而解决了上面两个问题。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值