基于NN的编码：In-loop filtering based on neutral network（Kwai）

最新推荐文章于 2021-08-04 20:55:45 发布
最新推荐文章于 2021-08-04 20:55:45 发布
阅读量472 收藏 1
点赞数 1
分类专栏： 视频编码 深度学习 文章标签： 深度学习 视频编码 环路滤波
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BigDream123/article/details/115482104
版权

JVET-T0094

本提案提出了一种基于深度学习的环内滤波器。提出的环路滤波器位于Deblock和SAO级之间。基于VTM9.0的实现，对于AI和RA配置，所提出的基于深度学习的滤波器的平均{Y，U，V}BDbdrate性能分别为{-4.99%，-16.39%，-17.34%}和{-3.92%，-18.09%，-16.93%}。

如下图所示，所提出的NN Filter位于DB和SAO之间。

网络结构

所提出的神经网络结构如图（a）所示，结构包括残差块（RB）和二维上采样卷积。网络的输入为YUV三分量，首先将色度样本通过二维卷积从64x64上采样到128x128，然后与亮度样本级联，形成3x128x128的输入。

在图（b）中，残差块RB包含两个具有K个输入/输出特征的3x3卷积核。在本提案中，N和K分别被设置为20和64。

训练

在本提案中，在训练过程中使用了DIV2K数据集。原始RGB图像转换成YUV420格式后，采用AI配置的VTM9.0进行编码和解码。训练的QP为22、27、32和37。然后将重建图像分割成128x128亮度和64x64色度块。在训练过程中，batch大小设置为8。训练过程的epoch是20。

实验

提出的基于神经网络的环路内滤波器在VTM9.0中实现，具有CTU和帧级标志。如果“frame level”的标志关闭，则当前帧中的所有CTU不会使用提出的滤波器。如果开启帧级别的标志，则会发出CTU level的flag，以指示是否应用了提出的滤波器。

  • Anchor：VTM9.0
  • 每个序列只使用前2帧
  • Anchor和测试都是在CPU中生成的

 

涵小呆
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
Complex-Valued Filtering Based on the Minimization of Complex-Error Entropy
02-21
1. 标题知识：标题“基于复误差熵最小化的复值滤波”指出了文章的核心内容是探讨了一种基于复值域的滤波技术，其核心在于最小化复误差熵。复误差熵（Complex Error Entropy, CEEC）是针对复数误差设计的准则，它扩展...
基于NN的编码：Neural Network-based In-Loop Filter（Qualcomm）
BigDream123的博客
03-24 741
JVET-T0079 本文提出了一种基于神经网络的环路内滤波器作为附加的环路内滤波器级，并将其放置在ALF滤波器之后。因此，将ALF的输出作为NN滤波器的输入。 网络结构 本文提出的NN滤波器如下图所示。它包含14层，包括12个隐藏层，每层96个通道。每个隐藏层由一个3x3卷积层和一个Leaky RELU组成。总共有大约100万个模型参数。 NN滤波的输入是一个128x128大小的亮度块和2个64x64的色度块。在滤波之前，使用JVET-M0159中提出的方法，对128x128的亮度块进行4次2
基于NN的编码：neural network based in-loop filter(Tencent)
BigDream123的博客
08-04 405
JVET-W0113 为了提高重建图像的质量，分别针对I Slice和B Slice训练神经网络模型。 在环内滤波过程中，使用NN 滤波器代替Deblock 和 SAO滤波 。 Method 将通过LMCS后的重建图输入到网络中，具体地，将U/V通道进行上采样和Y通道级联输入到网络中，通过滤波后，再将U/V通道进行下采样。最后，NN 滤波器的输出由 ALF 和 CCALF 处理 网络结构 下图展示了所提出的 NN 滤波器的网络结构。 第一层和最后一层是3x3的卷积。跳过层是5x5的卷积层。残.
基于NN的编码：Convolutional Neural Networks-based In-Loop Filter（Bytedance）
BigDream123的博客
04-14 556
JVET-T0088 本文提出的CNN滤波网络的结构如下左图所示。为了增加感受野并降低复杂度，该方法在开始时包含一个步长为2的卷积层。通过该层后，Feature Map的空间分辨率在水平和垂直方向上都降低到输入大小的一半。再将该降低分辨率的Feature Map经过几个顺序堆叠的残差块（如下图右所示）。最后一个卷积层将最后一个残差块的Feature Map作为输入，生成4个N×N的Feature Map，最后采用Shuffle层生成空间分辨率与输入相同的图像，即2N×2N大小。 网络的细节如下：
神经网络NN算法Nerual Networks
许进进的博客
09-30 8156
一. 背景:     人脑中的神经网络是一个非常复杂的组织，成人的大脑中估计有1000亿个神经元之多。以人脑中的神经网络为启发，历史上出现过很多不同版本的算法，最著名的算法是1980年Rumelhar和Hinton等人提出的反向传播（ Backpropagation ，BP）算法。              二. 多层向前神经网络(Multilayer Feed-Forward Neural Network)              多层向前神经网络由三部分组成：输入层(input layer), 隐
In-Loop Filters in HEVC
CodeMyDream的专栏
07-11 386
有两种滤波，一个deblock filter用来减弱因为transform和预测边界的不联系性；另外一个是SAO，通过减弱振铃效应和改变像素的强度来提升画质。https://blog.csdn.net/u014470361/article/details/94641124解释什么是块效应和振铃效应。 Deblocking Filter 块效应的产生： 1. 2. since the deblocking of one vertical (horizontal) bounda.
On mode-dependent H-infinity filtering for network-based discrete-time systems
02-10
This paper is devoted to the H-infinity filtering problem for network-based discrete-time systems subject to network communication constraints. The objective is to design a network-based full-order or...
Fractional zero-phase filtering based on the Riemann-Liouville integral
02-20
本文介绍了一种基于黎曼-黎乌勒积分的分数阶零相位滤波技术。该技术提出了一种新的方法，通过将分数阶前向滤波与分数阶后向滤波相结合，实现整体的零相位效应。文中详细阐述了分数阶零相位滤波的概念，以及该技术...
基于用户的协同过滤算法（user-based Collaborative Filtering）
12-22
【基于用户的协同过滤算法（User-Based Collaborative Filtering）】 协同过滤是一种常见的推荐系统算法，它主要依赖于用户的历史行为和偏好来预测他们可能感兴趣的新项目。在基于用户的协同过滤算法中，我们假设...
User-based-Collaborative-Filtering:Python中基于用户的协作过滤
04-28
基于用户的协作过滤 Python中基于用户的协作过滤（改编自明尼苏达大学CSci 1901H类项目） 概述 实施简单的基于用户的协作过滤推荐系统，以使用给定的数据预测商品的评分。 应该使用k个最近邻居和Pearson相关来完成此...
Content-Aware Convolutional Neural Network for In-Loop Filtering in High Efficiency Video Coding阅读笔记
import_torch_as_tf
06-04 443
论文来源：TIP 2019 作者：北大&海康研究院 Abstract 近年来，卷积神经网络（CNN）引起了人们的极大关注，并在许多图像处理任务中取得了巨大的成功。本文将CNN技术与图像恢复相结合，以提高视频编码的性能，提出了基于内容感知的CNN在环滤波的高效视频编码（HEVC）。特别地，我们从多个维度定量地分析了所提出的CNN模型的结构，使得该模型对于基于CNN的循环滤波具有可解释性和最佳性。更具体地说，每个编码树单元（CTU）被视为一个独立的处理区域，使得所提出的内容感知多模态滤波机制是通过
HEVC算法和体系结构：环路滤波技术
weixin_34007291的博客
11-09 599
环路滤波（In-Loop Filtering）技术 类似于以往的视频编码标准，HEVC仍采用基于块的混合编码框架，一些失真效应仍然存在，如方块效应、振铃效应、颜色偏差以及图像模糊等等。为了解决这些问题，HEVC中采用了环路滤波技术，它其实是一种用于解码端的后处理滤波技术，主要包括去块滤波（Deblocking Filter，DBF）和样点自适应补偿...
FFmpeg的HEVC解码器源代码简单分析：环路滤波（Loop Filter）
雷霄骅(leixiaohua1020)的专栏
06-21 1万+
本文分析FFmpeg的libavcodec中的HEVC解码器的环路滤波（Loop Filter）部分的源代码。FFmpeg的HEVC解码器调用hls_decode_entry()函数完成了Slice解码工作。hls_decode_entry()则调用了ff_hevc_hls_filters()完成了滤波工作。本文记录该函数实现的功能。函数调用关系图FFmpeg HEVC解码器的环路滤波（Loop
神经网络后处理：A New HEVC In-Loop Filter Based on Multi-channel Long-Short-term Dependency Residual Network
shayashi的博客
01-23 808
A New HEVC In-Loop Filter Based on Multi-channel Long-Short-term Dependency Residual Networks 基于MLSDRN（multi-channel long-short-term dependency residual network）提出的HEVC环内滤波。作者提出MLSDRN解决以往神经网络实现后处理的两个问...
环路滤波Loop Filter
workspace
12-06 1万+
前言 由于FDCT变换后的量化（Quant）过程是一个有损（lossy）过程，会照成信息损失。再经过反量化（Rescale）和IDCT后恢复的矩阵与原矩阵存在一定的误差，特别宏块的边界，会照常恢复的图像呈现方块化，而方块化的图片对于后面的图片预测存在极大的影响，所以我们需要通过环路滤波进行去方块化 ...
VVC/JEM代码学习14:loopFilterPic
小小柴的博客
03-30 958
在代码学习13中，记录了SAO技术的详细过程，其实在执行SAO之前，要先对重建图像进行去方块滤波；去方块滤波和样点自适应补偿合并称为环路滤波。今天就记录一下去方块滤波的详细过程。   去方块滤波的原理：由于在编码时各个块的变换量化相互独立，对不同的块使用了不同的量化参数，导致每个块引入的量化误差大小不一致，导致相邻块边界的不连续性。此外，运动补偿预测过程中，相邻块的预测值可能来自不同图像的不同位置...
FFmpeg的H.264解码器源代码简单分析：环路滤波（Loop Filter）部分
热门推荐
雷霄骅(leixiaohua1020)的专栏
04-23 2万+
本文分析FFmpeg的H.264解码器的环路滤波（Loop Filter）部分。FFmpeg的H.264解码器调用decode_slice()函数完成了解码工作。这些解码工作可以大体上分为3个步骤：熵解码，宏块解码以及环路滤波。本文分析这3个步骤中的第3个步骤。
直观深入理解Kalman滤波算法和数据关联算法（NN、PDA、JPDA、CJPDA、NNCJPDA）
ZhangP.H的博客
04-21 1万+
一、卡尔曼滤波（Kalman Filter） 1.1 Data Fusion问题的引入：   当前有两个传感器A和B，对待观测目标的状态进行测量（如两个电子秤对某物体的重量进行测量），这两个传感器的量测结果，是存在测量误差的随机变量（没有误差就不需要使用Kalman Filter了），现在的问题是： 如何融合两个传感器的量测结果得到最优的目标状态估计？ （最终结果还是个估计值，只不过是融合了两个传感器量测结果的更好的估计值，肯定不可能获得开了上帝视角的真值）   这里我们设A和B两传感器对目标的量测结果服
【论文笔记】(HEVC)《Recursive Residual Convolutional Neural NetworkBased In-Loop Filtering ..》
jiamenghu的博客
11-11 298
《Recursive Residual Convolutional Neural NetworkBased In-Loop Filtering for Intra Frames》阅读笔记 problems 深层网络需要考虑退化和训练难度的问题 motivation 提出RRCNN，有利于实现深层网络，在增强学习能力的同时而不需考虑退化问题， 递归使用一组权值，利用更少的参数实现好的效果。 shortcut connections 降低训练难度。 亮度色度分别训练网络以适应不同通道的特点。 引入CTU
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值