涵小呆-CSDN博客

原创 2022视频编码招聘面经

视频编码相关工作大概包括以下几个方向：1. 视频编码标准，主要参与国际国内编码标准制定工作，招聘公司大多都是大厂，坑位较少2. 软件编码器优化，主要是对codec内核的加速和性能提升，互联网公司需求较多3. 硬件编码器优化，主要是算法优化和RTL实现，芯片公司需求多，近期互联网公司也开始造芯，也会有招聘岗位4. 流媒体开发及编解码驱动开发，这两部分都是高层应用开发，不需要对编解码算法深入研究。

2023-01-16 11:12:08 2887 22

一、帧间预测基本原理帧间预测是利用视频帧与帧之间的相关性，去除视频帧间的时间冗余信息。统计表明，帧间差绝对值超过3的像素平均不到一帧像素的4%，因此，采用高效的帧间编码方式，可以很大程度上提高视频压缩效率。目前，主流视频编码标准中采用的基于块的帧间编码方式，基本原理是通过运动估计（Motion Estimate）从相邻参考重建帧中寻找和当前块差别最小的参考块，将其重建值作为当前块的预测块。其中参考块到当前块的位移称为运动矢量（Motion Vector），将重建值作为预测值的过程称为运动补偿（Mot

2021-08-24 21:12:59 9458 1

原创基于深度学习的帧内预测技术

在视频编码中，帧内预测是通过空域相邻像素预测当前块的像素，传统编码中帧内预测技术包括角度模式、DC和Planar模式，现在很多都开始使用深度学习来进行帧内预测。大部分使用深度学习进行帧内预测的网络主要分为：全连接神经网络或者全卷积神经网络或者卷积神经网络和全连接神经网络的结合。这里对各种方法进行一下总结，也梳理一下思路。Fully Connected Network-Based Intra Prediction for Image Coding这是第一篇使用全连接神经网络进行帧内预测的论文，称之

2021-06-07 22:09:04 3450 7

原创 AV1编码标准-算法描述

AV1编码标准本文档介绍了相关编解码器中包含的编码工具的技术方面。本文档不是相关编解码器的规范。相反，它总结了针对新开发人员的编码工具的突出功能。缩略语CfL: Chroma from LumaIntraBC: Intra block copyLCU: Largest coding unitOBMC: Overlapped Block Motion CompensationCDEF: Constrained Directional Enhancement Filter块划分

2020-10-15 22:35:22 16092 9

原创 H.266/VVC帧内预测总结

最近大致看完了帧内预测相关的技术及相关代码，做个总结。1、初始化帧内预测参数通过initPredIntraParams函数进行初始化帧内预测参数，代码参考如下：https://blog.csdn.net/BigDream123/article/details/1045208212、获取参考像素及对参考像素进行滤波在初始化帧内预测参数后，需要获取进行帧内预测时使用的参考像素，并根据预测模式决定是否对参考像素进行滤波。initIntraPatternChType函数是获取参考像素和对参考像素

2020-09-04 12:32:47 5438 5

原创 H.266/VVC的编码结构和块划分

一、将一帧图像划分成CTUsVVC中一帧图像分成许多编码树单元（CTU）。CTU的概念与HEVC的相同。对于一帧具有三通道的图像，CTU由一个N×N的亮度样本块和两个相应的色度样本块组成。图1显示了一个图片被划分为CTU的示例。在VVC中为了适应4k、8k等视频编码的需要，CTU中的亮度块的最大允许尺寸被指定为128×128（HEVC是64×64），注意亮度变换块的最大尺寸为64×64。...

2020-02-15 21:13:24 6033 8

原创 H.266/VVC变换量化部分内容总结

最近大致看完了VTM6.0的帧内编码端的和变换部分相关的代码，这里进行一下简单的总结。帧内编码端的变换涉及到变换最佳模式的选择，和变换部分相关的代码又比较杂，这里仅仅总结其中一部分代码。帧内模式选择的入口函数是xCheckRDCostIntra，函数调用框图如图所示：xCheckRDCostIntra函数主要是进行了相应变换块可选变换模式集的遍历，通过并计算RD Cost选出最佳变......

2019-11-17 19:43:46 4113 2

原创 ICIP-2020-A Non-local Mean Temporal Filter for VideoCompression

在 libvpx、VP8、VP9 和 HEVC 等各种编码器实现中，早就发现在预处理阶段过程中从源视频信号去除噪声对客观压缩效率的提升存在好处。通常使用常规的块匹配运动搜索来构建运动轨迹，并沿着轨迹比较每对像素，根据像素间的差异确定时域滤波器系数，对原始帧滤波后进行编码，其重建与原始(未滤波)帧进行比较计算失真。实验结果表明，该方法可显著提高压缩性能。本文提出了一种非局部均值滤波核（non-local mean filter kernel），以用于源信号的时域滤波。

2024-07-25 22:27:10 870

原创 AV1技术学习：Loop Restoration Filter

环路恢复滤波器（restoration filter）适用于64 × 64、128 × 128 或 256 × 256 像素块单元，称为 loop restoration units (LRUs)。每个单元可以独立选择是否跳过滤波、使用维纳滤波器（Wiener filter）或使用自导滤波器（self-guided filter）。它应用于任何先前的环路滤波（Deblock、CDEF）后的重建像素。

2024-07-24 22:33:57 375

原创 AV1技术学习：Constrained Directional Enhancement Filter

其中 wp d,m,n 和 ws d,m,n 分别为与主滤波器和次滤波器相关联的滤波器系数，如下图所示。其中Sp、Ss为主要滤波器和次要滤波器的强度指标，D为阻尼系数。CDEF允许编解码器沿某些(可能是倾斜的)方向应用非线性消阶滤波器。注意，参考像素p(m, n)是在应用去块滤波器之后，但在应用CDEF滤波器之前重建的像素。一个主要的滤波器是沿着所选的方向应用，而一个次要的滤波器沿着主方向的偏移45◦的方向应用。式中xp为像素p的值，Pd,k为沿d方向k行的像素，μd,k为Pd,k的平均值;

2024-07-24 22:18:50 445

原创 AV1技术学习：Quantization

量化是对变换系数进行，并将量化索引熵编码。AV1的量化参数 QP 的取值范围是0 ~ 255。

2024-07-23 21:26:18 485

原创 AV1技术学习：Transform Coding

对预测残差进行变换编码，去除潜在的空间相关性。VP9 采用统一的变换块大小设计，编码块中的所有的块共享相同的变换大小。VP9 支持 4 × 4、8 × 8、16 × 16、32 × 32 四种正方形变换大小。根据预测模式选择由一维离散余弦变换 (DCT) 和非对称离散正弦变换 (ADST) 核组合构成的一组可分离的二维变换类型。AV1继承了VP9中的变换编码方案，并在变换块大小和变换核方面扩展了其灵活性。

2024-07-22 22:13:05 549

原创 AV1技术学习：Coding Structure

SuperBlock 是AV1编解码器可以处理的最大编码块。SuperBlock 大小可以是128 × 128 或64 × 64，由 sequence header 控制。SuperBlock 可以进一步划分为更小的编码块，每个编码块都有自己的预测和变换模式。SuperBlock 编码只依赖于它的上侧和左侧的 SuperBlock。

2024-07-22 21:45:38 1021

原创 AV1技术学习：Reference Frame System

AV1 Codec 允许在其解码的帧缓冲区中最多允许保存 8 帧。对于一个编码帧，可以从解码的帧缓冲区中选择任意 7 个帧作为它的参考帧。编码端可以通过比特流显式地传输参考帧索引，范围从 1到 7。原则上，参考帧索引 1-4 为当前帧显示顺序之前的帧，而索引 5-7 则为当前帧显式顺序之后的帧。对于双向融合（bidirectional compound）预测，可以将两个参考帧组合起来生成预测值。如果两个参考帧在当前帧之前或之后，这被认为是单向融合预测。

2024-07-21 22:33:57 486

原创 AV1技术学习：Intra Prediction

对于帧内预测模式编码块，亮度分量的预测模式和色度分量的预测模式在比特流中分别发出信号。亮度预测模式是基于相邻左侧和上侧两个编码块预测上下文的概率模型进行熵编码的。色度预测模式的熵编码取决于色度预测模式的状态。帧内预测以变换块为单位，并使用先前解码的边界像素作为参考像素。

2024-07-19 19:23:08 675

原创 AV1技术学习： Compound Prediction

AV1支持两个参考帧的预测通过多种复合模式线性组合。复合预测公式为其中，权重m(x, y) is scaled by 64 以进行整数计算，R1(x, y)和R2(x, y)表示两个参考块中位于(x, y)的像素。P(x, y)将按比例缩小 1/64 以形成最终的预测。

2024-07-17 22:26:25 777

原创 AV1技术学习：Affine Motion Compensation

除了传统的平移运动补偿，AV1 还支持仿射变换模型，将当前像素点 (x, y) 通过以下方式投影到参考帧中的预测像素点 (x', y').参数 (h13, h23) 对应于平移模型中使用的常规运动向量。参数 h11 和 h22 控制垂直和水平轴上的比例因子，并与 h12 和 h21 一起决定旋转角度。每个参考帧关联一个全局仿射模型，其中四个非平移参数的精度均为12位，平移运动矢量的编码精度为15位。一个编码块可以直接根据参考帧索引使用其仿射模型。

2024-07-16 22:43:42 621

原创 AV1技术学习：Translational Motion Compensation

常用的基于块的编码器运动估计是通过绝对差和(SAD)或平方误差和(SSE)的测量来进行的，这往往有利于与直流和低频分量相似的参考块，而对高频分量的预测不太可靠。亚像素是通过可分插值滤波器产生的，如下图所所示，首先通过所有的行计算水平插值，然后在水平插值所得亚像素（橙色）的基础上，进行垂直插值，产生最终的亚像素（绿色）。在 VP9 中采用自适应插值滤波方案，即 VP9 中的编码块可以从三个 8 抽头的插值滤波器中选择，这些插值滤波器使用不同的频域的截止频率，所选的插值滤波器同时应用于垂直和水平方向。

2024-07-15 22:32:27 424

原创 PCS-2022-VVC中帧内和帧间预测的统一快速划分算法

VVC (Versatile Video Coding) 标准采用了比HEVC (High Efficiency Video Coding) 标准更灵活的划分结构，在HEVC的四叉树划分结构基础上，引入了多类型树划分，大大提高了编码效率，同时导致了编码端复杂度大幅增加。本文基于编码器 RD 检查的历史信息，提出了一种帧内和帧间统一的快速划分。

2023-05-12 21:17:30 1067 1

原创 JVET-AD0081：一种基于外推滤波器的帧内预测模式

本提案提出了一种基于外推滤波器的帧内预测（extrapolation filter-based Intra Prediction，EIP）模式。首先，利用预定模板从当前块的相邻重建像素获得外推滤波器系数。然后，在当前块内从左上到右下逐位置地处理外推，以生成预测块。

2023-05-10 19:35:45 956

原创 JVET-AC0315：用于色度帧内预测的跨分量Merge模式

ECM采用了许多跨分量的预测（Cross-componentprediction，CCP）模式，包括跨分量包括跨分量线性模型（CCLM）、卷积跨分量模型（CCCM）和梯度线性模型（GLM），以利用分量间的相关性。该提案提出了一种跨分量的Merge模式（cross-componentmerge，CCMerge）作为一种新的CCP模式。CCMerge编码的跨分分量模型参数可以从用当前块的的相邻块继承。

2023-02-10 20:40:57 1254

转载 Windows上使用vs编译x264的方法

有时需要在Windows上用到libx264时，在官网和gitgub找了源码发现没有提供dll或者vs项目的代码，而且源码是makefile不是cmake不能直接转成vs，自己去手动配置一个vs项目还是比较麻烦的。想到之前用Shift Media Project生成Windows的FFmpeg项目时，似乎有包含x264的项目代码，那我们直用就可以了。

2022-12-15 12:16:47 464

原创 JVET-AB0117-基于模板的帧内推导的方向性融合

本提案是针对 ECM 中的的技术的加权方式的改进。具体地，本提案提出使用方向混合（directional blending）来加权TIMD使用模板推导的两种预测模式，当使用directional TIMD时，分别使用上相邻模板和左相邻模板导出两个单独的预测模式，然后将这两种模式使用像素级的权重进行融合。

2022-11-26 10:03:03 731

原创 ECM技术学习：卷积跨分量帧内预测模型（Convolutional cross-component intra prediction model）

卷积交叉分量模型（convolutional cross-component model，CCCM）基本思想和CCLM模式类似，建立亮度和色度之间模型实现从亮度重建像素预测色度像素。和CCLM一样，预测色度像素前，需要对亮度重建块进行下采样，以匹配色度块尺寸。

2022-11-05 16:55:19 1372

转载 x264代码分析：参考帧管理

X264是一款研究的是H.264编码的开源代码软件，相比JM而言，其编码性能有很大的提高，其支持大多数H.264的特性工具，包括:CABAC和 CAVLC高效嫡编码、多参考帧预测、所有的帧内预测宏块类型(16x6l和4x4)、所有的前向帧间预测P(帧)宏块类型 (16xl6，16x8，8xl6，8x8，8x4，4x8和4x4)、最常用的双向帧间预测(B帧)宏块类型(16xl6，16x8，8xl6和 8x8)、1/4 像素精度运动估计、率失真优化、自适应B帧选择且B帧可作为参考帧。......

2022-06-24 20:55:14 1006

原创 H.266/VVC SCC技术学习：帧内块拷贝（Intra block copy, IBC）

帧内块拷贝 (Intra block copy， IBC) 是 HEVC 针对屏幕内容编码（Screen content coding）序列的扩展工具，它显着提高了屏幕内容序列的编码效率。IBC 是一种块级编码模式， IBC 编码的 CU 被视为除帧内或帧间预测模式之外的第三预测模式。和帧间技术类似，编码端执行运动搜索（块匹配，Block Maching, BM ）为每个 CU 找到其最佳的块向量（Block Vector，也可以称为运动向量 Motion Vector）。......

2022-06-08 17:01:35 2488 1

原创 ECM技术学习：帧内模板匹配（Intra Template Matching）

帧内模板匹配预测（Intra TMP，Intra Template Matching Prediction）是一种特殊的帧内预测编码工具，主要用于屏幕内容编码（screen content coding，SCC）。TMP通过L形模板与当前帧已重建部分进行匹配，并将其对应的块作为当前块的预测值。对于预定义的搜索范围，编码器在当前帧的重构部分中搜索与当前模板最相似的模板，并将对应的块作为预测块。编码器然后用信号通知这种模式的使用，并且在解码器侧执行相同的预测操作。如下图所示：通过将当前块的 L-s

2022-05-27 15:40:49 1319 4

原创 JVET-Z0064-基于卷积交叉分量模型 (CCCM) 的帧内色度预测

本篇来自JVET-Z0064：1. 介绍本提案提出了一种基于卷积交叉分量模型 (convolutional cross-component model，CCCM) 的帧内色度预测技术。与 CCLM 类似，当使用色度子采样时，对重建的亮度样本进行下采样以匹配较低分辨率的色度样本。此外，与 CCLM 类似，可以选择使用 CCCM 的单模型或多模型变体。多模型变体使用两个模型，一个模型用于高于平均亮度参考值的样本，另一个模型用于其余样本（和 MMLM 类似）。多模型 CCCM 模式应用于

2022-04-28 20:14:53 1099

原创 JVET-Z0140-增强的CCLM

本篇来自JVET-Z0140提案：在VVC/ECM中，CCLM 通过利用亮度/色度分量之间的强相关性实现了显着的编码性能改进。但是CCLM在推导线性模型时，仅考虑单个下采样的亮度样本，而忽略了相邻亮度样本之间可能存在的相关性（比如空间相关性）。本提案作者观察到包含剧烈亮度强度变化的视频序列可能导致相应的色度值变化，称为紫边问题。本提案提出了两种技术，即基于滤波器的线性模型 (FLM) 和梯度线性模型 (GLM)，方法一：基于滤波器的线性模型（Filter-based Linear Mod

2022-04-28 10:26:53 692

原创 JVET-Y0092-基于DIMD推导的色度帧内预测模式

本文来自提案 JVET-Y0092介绍ECM3.1中色度分量的帧内预测模式好包括六种交叉分量线性模型 (LM) 模式（CCLM_LT、CCLM_L、CCLM_T、MMLM_LT、MMLM_L 和 MMLM_T 模式）、直接模式 (DM) 和四默认色度帧内预测模式。四种默认模式由列表 {0,50,18,1} 给出，如果 DM 模式已经属于该列表，则列表中的模式将替换为模式 66。ECM中引入了DIMD技术，DIMD是为当前块的第二相邻行和第二列的L形模板的每个重建亮度样本计算水平梯度

2022-03-28 22:48:50 987

原创 H.266/VVC代码学习：reduceHadCandList函数

reduceHadCandList函数由estIntraPredLumaQT函数调用，主要是用来缩减后续进行全RD Cost细选的模式列表。基本过程：缩减传统候选模式数，仅加入Cost较小的前三种传统的模式缩减MIP候选模式数，删除Cost较大的最后一种MIP模式对于尺寸大于8x8的PU，判断前三种MIP模式矩阵是否在临时的候选模式列表中，如果不在，则将其加入进去代码如下：// candModeList 候选模式数// candCostList 候选模式代价列表// numMod

2022-03-28 10:20:12 637

原创 H.266/VVC技术学习：运动补偿时域滤波器（motion compensated temporal filter ）

运动补偿时域滤波器（Motion compensated temporal filter，MCTF）VTM 支持运动补偿时域滤波器（Motion compensated temporal filter，MCTF）。MCTF是一种编码前处理工具，即当视频帧进行编码前，对该帧进行时域滤波。该工具由CTC中的TemporalFilter选项控制是否开启。滤波过程Step1：通过使用一个或多个TemporalFilterStrengthFrame#配置选项，可以针对每个GOP中的不同图片调整时域滤波

2022-03-19 15:19:26 4233

原创 JVET-Y0055-CCLM 的斜率调整

本文来自JVET第25次会议中的提案JVET-Y0055：介绍当亮度与色度分量相关性较强时，CCLM预测性能较好。但当用于生成线性模型参数的参考像素可能有噪声，或者参考像素可能无法很好地代表实际预测块内的内容时，预测无法达到比较好的效果。本提案提出微调CCLM的线性模型参数来改进CCLM的性能。算法CCLM 使用斜率参数“a”和偏差参数“b”的线性模型将亮度值映射到色度值，映射如下：chromaVal = a * lumaVal + b本提案提出对斜率参数进行调整“u”以

2022-02-17 22:39:17 1805 1

原创 VCIP-2021-基于神经网络的双向预测混合

本文来自VCIP 2021的论文《Neural Network based Inter bi-prediction Blending》本文思路来自提案JVET-V0076，提出了一个基于全卷积的双向加权预测网络。网络框架如下所示，网络总共包括6层卷积，除最后一层外卷积层的激活函数都是ReLu，对于网络的最终输出预测值需要进行clip操作。输入块边界填充长度为N的像素。该网络应用VTM时，不需要传输码流，仅在满足特定条件时使用该网络进行加权预测，其余情况仍使用原来的加权预测方式（网络的

2022-01-26 16:42:21 3238

转载 pytorch的4种边界Padding方法

卷积操作作为卷积神经网络的核心模块，在其计算过程中必须考虑图像“边缘像素”的卷积方式。查阅资料发现，我们可以采用“卷积之前进行边界填充”或“卷积之后进行边界填充两种方式”，同时边界填充的具体手段包含常量填充、零填充、镜像填充以及重复填充等。在具体分析各种Pad之前，先创建一个2dTensor用于测试后面的填充操作：x = torch.Tensor([[1, 2], [3, 4]])创建的Tensor数值分别1、2、3、4：1、零填充ZeroPad2d我们最常用的是nn.ZeroPa

2022-01-13 21:54:39 2387

原创 TCSVT-2020-基于卷积神经网络的时空信息双向预测

本文来自TCSVT 2020的论文《Convolutional Neural Network Based Bi-Prediction Utilizing Spatial and Temporal Information in Video Coding 》介绍本文提出用于帧间双向加权预测的CNN，称为STCNN ，和之前工作不同的是，本文引入了空间相邻重建像素和参考帧的时间显示顺序作为额外信息，作者认为基于空域中相邻像素的高度相关性，引入当前块的空间相邻像素可以减少由块级运动补偿引起的块伪影。

2022-01-13 10:21:15 2901 1

原创 TCSVT-2019-基于卷积神经网络的增强双向预测

本文来自TCSVT 2019的论文《Enhanced Bi-Prediction With Convolutional Neural Network for High-Efficiency Video Coding》介绍传统的平均加权运动补偿是基于时域匀速运动和空域匀速运动的假设，无法很好地描述旋转、仿射变换和变形等不规则运动；此外，传统的加权预测是pixel-to-pixel级别的预测，与patch-to-patch级别的预测对比如下图所示，可以清楚的看出patch-to-patch可用的

2022-01-11 19:16:25 1831

原创 ECM技术学习：模板匹配（Template matching）

模板匹配（Template matching， TM）是一种解码端推导方法，用来细化当前CU的运动信息，使得当前CU的MV更准确。TM主要是通过寻找一个MV使得当前图片的模板（当前 CU 的顶部和/或左侧相邻块）和参考图片的模板之间的匹配误差最小。如下图所示，在 [– 8, +8] 像素搜索范围内围绕当前 CU 的初始 MV 搜索更好的 MV。其中TM是基于 AMVR 模式确定搜索步长，并且 TM 可以在Merge模式下与双边匹配（bilateral matching， BM）过程级联。在AM.

2021-12-19 22:21:47 2685 10

原创 ECM技术学习：基于模板匹配的Merge候选列表的自适应重排序（Adaptive reordering of merge candidates with template matching）

基于模板匹配的Merge候选列表的自适应重排序（Adaptive reordering of merge candidates with template matching， ARMC）技术是使用模板匹配的方法对Merge列表进行重排序，通过重排序，可以将更准确的Merge候选项放在Merge列表的前面，从而可以降低Merge索引的编码比特。ARMC-TM应用于常规Merge模式、模板匹配（TM） Merge模式和Affine Merge模式（不包括 SbTMVP 候选）。对于 TM Merge模式，

2021-12-10 10:02:23 777

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

AV1编码标准工具描述

三种不同的YUV播放器

y4m文件转YUV工具

YUV View YUV播放器

H266/VVC码流解析器

x265文档.pdf

AV1依赖软件.zip

DCT_base.m

VS2017+dlib

cmakeOpencv3.4.rar

cmakeopencv320.zip

空空如也