Android GPU纹理数据拷贝 OpenGL PBO（Pixel Buffer Object），被称为像素缓冲区对象，主要被用于异步像素传输操作。PBO 仅用于执行像素传输，不连接到纹理，且与 FBO （帧缓冲区对象）无关。OpenGL PBO（像素缓冲区对象） 类似于 VBO（顶点缓冲区对象），PBO 开辟的也是 GPU 缓存，而存储的是图像数据。PBO 是 OpenGL ES 3.0 开始提供的一种方式，主要应用于从内存快速复制纹理到显存，或从显存复制像素数据到内存。
pytorch的pixel unshuffle转到onnx的SpaceToDepth pytorch训练好的模型想要在onnx上部署，但是发现算子F.pixel_unshuffle 不能直接转到onnx 的 SpaceToDepth，发生以下报错：Exporting the operator pixel_unshuffle to ONNX opset version 11 is not supported. Please feel free to request support or submit a pull request on PyTorch GitHub.
MD-VQA：视频质量评价算法 在淘宝，每天有亿级的User-Generated Content (UGC) 等非传统广电视频（包括但不限于短视频、直播等）被生产或播放，其存在明确的无参考视频质量评价的需求，用以对视频质量进行实时监控，确保用户体验。因此，大淘宝音视频技术团队自研了一种针对UGC视频的无参考视频质量评价模型 —— MD-VQA（Multi-Dimensional Video Quality Assessment），综合视频的语义、失真、运动等多维度信息，来衡量视频绝对质量的高低。
InstantID：一张照片，无需训练，秒级个人写真生成 通过文本提示词来编辑生成的图片，比如改变图像中人物的表情、背景或其他元素。也可以借助 ControlNet插件更加精准地控制图像的生成细节，实现个性化定制。
MagicVideo-V2：多阶段高保真视频生成框架 本项工作介绍了MagicVideo-V2，将文本到图像模型、视频运动生成器、参考图像embedding模块和帧内插模块集成到端到端的视频生成流程中。由于这些架构设计的好处，MagicVideo-V2能够生成具有极高保真度和流畅度的美观高分辨率视频。通过大规模用户评估，它在性能上表现优越，超过了领先的文本到视频系统，如Runway、Pika-1.0、Morph、Moon Valley和Stable Video Diffusion模型。
Q-Bench：一种用于低级别视觉通用基础模型的基准测试 简单来说，答案是语言，这是多模态大模型的基本属性。具体而言，我们定义多模态大模型在low-level视觉方面的两种新兴语言能力如下：能力1（A1）：low-level 属性的感知。如图 1(a)所示，像人类一样，多模态大模型应该能够准确地回答与 low-level 属性相关的简单问题，例如在查询“这张图像清晰吗？”时回答“不清晰”。能力2（A2）：通过自然语言进行描述。如图1(b)所示，像人类一样，多模态大模型应该能够用自然语言描述图像的质量和其他low-level信息。这些描述应该既完整又准确。
TecoGAN视频超分辨率算法 对抗训练在单图像超分辨率任务中非常成功，因为它可以获得逼真、高度细致的输出结果。因此，当前最优的视频超分辨率方法仍然支持较简单的范数（如 L2）作为对抗损失函数。直接向量范数作损失函数求平均的本质可以轻松带来时间流畅度和连贯度，。该研究聚焦于新型损失的形成，并基于已构建的生成器框架展示了其性能。研究者证明时间对抗学习是获得照片级真实度和时间连贯细节的关键。除了时空判别器以外，研究者还提出新型损失函数 Ping-Pong，该函数可以有效移除循环网络中的时间伪影，且不会降低视觉质量。
自动网络搜索NAS之FBNetV1 为移动设备设计卷积网络挑战巨大，因为设计空间巨大，现有NAS方法在计算上是昂贵的。另外，之前的工作关注降低FLOPs，但是FLOPs并不总是反应真实的延迟。因此基于differentiable neural architecture search（DNAS），采用梯度优化的方法优化卷积结构，避免像以前的方法那样分别枚举和训练各个体系结构。FBNets-B在ImageNet上top-1准确率为74.1%，295M FLOPs，在三星S8上23.1ms延迟，比MobileNetv2小2.4倍，快1.5倍。
基于时空融合的高效率多阶段视频降噪方法-EMVD 1. 介绍这是Huawei Noah‘s Ark Lab在CVPR2021上的文章。他们针对于终端设备算力有限的条件下，提出了一种有效的视频降噪算法EMVD，其主要特点在于通过可学习的可逆变换，将图像的亮度和颜色信息，以及不同的频率信息进行分解，在变换域进行图像降噪处理；使用了三级结构，包括时域融合（temporal fusion）、空域降噪（spatialdenoising）、时空精修（spatio-temporal refinement）三个阶段，每级结构都有明确的任务和可解释性；使用很小.
噪声及降噪算法总结 1. 噪声介绍噪声是图像中不请自来的信号。当相机拍摄一个亮度十分均匀的区域时，相机输出的结果会不可避免地叠加一部分噪声。相机的输出信号=真实信号+噪声信号。由于真实信号的具体值是未知的，所以只能用多次测量的平均值来代替。用数学公式表示就是，在数码照相机和摄影机产品中，总的规律是光圈越小、（电子）快门越短、ISO越高，图像噪声就越大。2. 噪声类型高斯噪声 Gaussian，也称热噪声或约翰逊-奈奎斯特噪声。在电子系统中，自由电子的热运动是一种典型的高斯噪声源，其特点是在工作频段内，噪声的功.
可逆网络实现 RAW 和 RGB 图像转换：Invertible Image Signal Processing 1. 摘要未经处理的 RAW 数据对于图像编辑和计算机视觉来说是一种非常有价值的图像格式。然而，由于RAW 数据的文件大小巨大，大多数用户只能访问经过处理和压缩的 sRGB 图像。为了弥补这一差距，本文设计了一个可逆图像信号处理 (InvISP) pipline，它不仅能够渲染视觉上吸引人的 sRGB 图像，而且还允许恢复近乎完美的 RAW 数据。由于本文的框架固有的可逆性，可以重构真实的RAW 数据，而不是从 sRGB 图像合成 RAW 数据，而不需要任何内存开销。本文还集成了一个可微分的 JPEG .
真实场景超分算法-Real-ESRGAN 1. 介绍在单张图片超分辨率(Single Image Super-resolution)的问题中，许多方法都采用传统的 Bicubic 方法实现降采样，但是这与现实世界的降采样情况不同，太过单一。盲超分辨率(Blind Super-resolution)旨在恢复未知且复杂的退化的低分辨率图像。根据其使用的降采样方式不同，可以分为显式建模(explicit modeling)和隐式建模(implicit modeling)。显式建模：经典的退化模型由模糊、降采样、噪声和 JPEG压缩组成。但是现.
局部色调映射(Local Tone Mapping) 重建视觉外观是色调映射的终极目标。色调映射算法在降低高动态图像(HDR)范围的同时着力保护捕捉到的原始图像的外观。色调映射算子分两种策略，一种是全局的，另一种是局部的。1. 全局映射算子每一个像素点将会根据它的全图特征和亮度信息进行映射，不管其空间位置几何。全局算子一个比较典型的例子就是色调曲线。全局色调映射在处理12位(12-bit)深度的图像的时候是完全OK的，当图像的动态范围特别高的时候，那就不行了。这是因为所有的像素点都采取同一种方式进行处理，根本就没有管它是在较亮区域还是较暗区域。这样的话，.
关注
