- 博客(225)
- 资源 (10)
- 收藏
- 关注
RSS订阅
原创 2022视频编码招聘面经
视频编码相关工作大概包括以下几个方向：1. 视频编码标准，主要参与国际国内编码标准制定工作，招聘公司大多都是大厂，坑位较少2. 软件编码器优化，主要是对codec内核的加速和性能提升，互联网公司需求较多3. 硬件编码器优化，主要是算法优化和RTL实现，芯片公司需求多，近期互联网公司也开始造芯，也会有招聘岗位4. 流媒体开发及编解码驱动开发，这两部分都是高层应用开发，不需要对编解码算法深入研究。
2023-01-16 11:12:08
2736
22
原创 H.266/VVC帧间预测总结
一、帧间预测基本原理帧间预测是利用视频帧与帧之间的相关性，去除视频帧间的时间冗余信息。统计表明，帧间差绝对值超过3的像素平均不到一帧像素的4%，因此，采用高效的帧间编码方式，可以很大程度上提高视频压缩效率。目前，主流视频编码标准中采用的基于块的帧间编码方式，基本原理是通过运动估计（Motion Estimate）从相邻参考重建帧中寻找和当前块差别最小的参考块，将其重建值作为当前块的预测块。其中参考块到当前块的位移称为运动矢量（Motion Vector），将重建值作为预测值的过程称为运动补偿（Mot
2021-08-24 21:12:59
9053
1
原创 基于深度学习的帧内预测技术
在视频编码中，帧内预测是通过空域相邻像素预测当前块的像素，传统编码中帧内预测技术包括角度模式、DC和Planar模式，现在很多都开始使用深度学习来进行帧内预测。大部分使用深度学习进行帧内预测的网络主要分为：全连接神经网络或者全卷积神经网络或者卷积神经网络和全连接神经网络的结合。这里对各种方法进行一下总结，也梳理一下思路。Fully Connected Network-Based Intra Prediction for Image Coding这是第一篇使用全连接神经网络进行帧内预测的论文，称之
2021-06-07 22:09:04
3333
7
原创 AV1编码标准-算法描述
AV1编码标准本文档介绍了相关编解码器中包含的编码工具的技术方面。本文档不是相关编解码器的规范。相反，它总结了针对新开发人员的编码工具的突出功能。缩略语CfL: Chroma from LumaIntraBC: Intra block copyLCU: Largest coding unitOBMC: Overlapped Block Motion CompensationCDEF: Constrained Directional Enhancement Filter块划分
2020-10-15 22:35:22
15797
9
原创 H.266/VVC帧内预测总结
最近大致看完了帧内预测相关的技术及相关代码，做个总结。1、初始化帧内预测参数通过initPredIntraParams函数进行初始化帧内预测参数，代码参考如下：https://blog.csdn.net/BigDream123/article/details/1045208212、获取参考像素及对参考像素进行滤波在初始化帧内预测参数后，需要获取进行帧内预测时使用的参考像素，并根据预测模式决定是否对参考像素进行滤波。initIntraPatternChType函数是获取参考像素和对参考像素
2020-09-04 12:32:47
5215
5
原创 H.266/VVC的编码结构和块划分
一、将一帧图像划分成CTUsVVC中一帧图像分成许多编码树单元（CTU）。CTU的概念与HEVC的相同。对于一帧具有三通道的图像，CTU由一个N×N的亮度样本块和两个相应的色度样本块组成。图1显示了一个图片被划分为CTU的示例。在VVC中为了适应4k、8k等视频编码的需要，CTU中的亮度块的最大允许尺寸被指定为128×128（HEVC是64×64），注意亮度变换块的最大尺寸为64×64。...
2020-02-15 21:13:24
5787
8
原创 H.266/VVC变换量化部分内容总结
最近大致看完了VTM6.0的帧内编码端的和变换部分相关的代码，这里进行一下简单的总结。帧内编码端的变换涉及到变换最佳模式的选择，和变换部分相关的代码又比较杂，这里仅仅总结其中一部分代码。帧内模式选择的入口函数是xCheckRDCostIntra，函数调用框图如图所示：xCheckRDCostIntra函数主要是进行了相应变换块可选变换模式集的遍历，通过并计算RD Cost选出最佳变......
2019-11-17 19:43:46
3915
2
原创 PCS-2022-VVC中帧内和帧间预测的统一快速划分算法
VVC (Versatile Video Coding) 标准采用了比HEVC (High Efficiency Video Coding) 标准更灵活的划分结构，在HEVC的四叉树划分结构基础上，引入了多类型树划分，大大提高了编码效率，同时导致了编码端复杂度大幅增加。本文基于编码器 RD 检查的历史信息，提出了一种帧内和帧间统一的快速划分。
2023-05-12 21:17:30
1011
1
原创 JVET-AD0081：一种基于外推滤波器的帧内预测模式
本提案提出了一种基于外推滤波器的帧内预测（extrapolation filter-based Intra Prediction，EIP）模式。首先，利用预定模板从当前块的相邻重建像素获得外推滤波器系数。然后，在当前块内从左上到右下逐位置地处理外推，以生成预测块。
2023-05-10 19:35:45
909
原创 JVET-AC0315：用于色度帧内预测的跨分量Merge模式
ECM采用了许多跨分量的预测（Cross-componentprediction，CCP）模式，包括跨分量包括跨分量线性模型（CCLM）、卷积跨分量模型（CCCM）和梯度线性模型（GLM），以利用分量间的相关性。该提案提出了一种跨分量的Merge模式（cross-componentmerge，CCMerge）作为一种新的CCP模式。CCMerge编码的跨分分量模型参数可以从用当前块的的相邻块继承。
2023-02-10 20:40:57
1198
转载 Windows上使用vs编译x264的方法
有时需要在Windows上用到libx264时，在官网和gitgub找了源码发现没有提供dll或者vs项目的代码，而且源码是makefile不是cmake不能直接转成vs，自己去手动配置一个vs项目还是比较麻烦的。想到之前用Shift Media Project生成Windows的FFmpeg项目时，似乎有包含x264的项目代码，那我们直用就可以了。
2022-12-15 12:16:47
440
原创 JVET-AB0117-基于模板的帧内推导的方向性融合
本提案是针对 ECM 中的的技术的加权方式的改进。具体地，本提案提出使用方向混合（directional blending）来加权TIMD使用模板推导的两种预测模式，当使用directional TIMD时，分别使用上相邻模板和左相邻模板导出两个单独的预测模式，然后将这两种模式使用像素级的权重进行融合。
2022-11-26 10:03:03
703
原创 ECM技术学习：卷积跨分量帧内预测模型（Convolutional cross-component intra prediction model）
卷积交叉分量模型（convolutional cross-component model，CCCM）基本思想和CCLM模式类似，建立亮度和色度之间模型实现从亮度重建像素预测色度像素。和CCLM一样，预测色度像素前，需要对亮度重建块进行下采样，以匹配色度块尺寸。
2022-11-05 16:55:19
1182
转载 x264代码分析：参考帧管理
X264是一款研究的是H.264编码的开源代码软件，相比JM而言，其编码性能有很大的提高，其支持大多数H.264的特性工具，包括:CABAC和 CAVLC高效嫡编码、多参考帧预测、所有的帧内预测宏块类型(16x6l和4x4)、所有的前向帧间预测P(帧)宏块类型 (16xl6，16x8，8xl6，8x8，8x4，4x8和4x4)、最常用的双向帧间预测(B帧)宏块类型(16xl6，16x8，8xl6和 8x8)、1/4 像素精度运动估计、率失真优化、自适应B帧选择且B帧可作为参考帧。......
2022-06-24 20:55:14
963
原创 H.266/VVC SCC技术学习：帧内块拷贝（Intra block copy, IBC）
帧内块拷贝 (Intra block copy， IBC) 是 HEVC 针对屏幕内容编码（Screen content coding）序列的扩展工具，它显着提高了屏幕内容序列的编码效率。IBC 是一种块级编码模式， IBC 编码的 CU 被视为除帧内或帧间预测模式之外的第三预测模式。和帧间技术类似，编码端执行运动搜索（块匹配，Block Maching, BM ）为每个 CU 找到其最佳的块向量（Block Vector，也可以称为运动向量 Motion Vector）。......
2022-06-08 17:01:35
2335
1
原创 ECM技术学习：帧内模板匹配（Intra Template Matching）
帧内模板匹配预测（Intra TMP，Intra Template Matching Prediction）是一种特殊的帧内预测编码工具，主要用于屏幕内容编码（screen content coding，SCC）。TMP通过L形模板与当前帧已重建部分进行匹配，并将其对应的块作为当前块的预测值。对于预定义的搜索范围，编码器在当前帧的重构部分中搜索与当前模板最相似的模板，并将对应的块作为预测块。 编码器然后用信号通知这种模式的使用，并且在解码器侧执行相同的预测操作。如下图所示：通过将当前块的 L-s
2022-05-27 15:40:49
1224
4
原创 JVET-Z0064-基于卷积交叉分量模型 (CCCM) 的帧内色度预测
本篇来自JVET-Z0064：1. 介绍本提案提出了一种基于卷积交叉分量模型 (convolutional cross-component model，CCCM) 的帧内色度预测技术。 与 CCLM 类似，当使用色度子采样时，对重建的亮度样本进行下采样以匹配较低分辨率的色度样本。此外，与 CCLM 类似，可以选择使用 CCCM 的单模型或多模型变体。 多模型变体使用两个模型，一个模型用于高于平均亮度参考值的样本，另一个模型用于其余样本（和 MMLM 类似）。多模型 CCCM 模式应用于
2022-04-28 20:14:53
1025
原创 JVET-Z0140-增强的CCLM
本篇来自JVET-Z0140提案：在VVC/ECM中，CCLM 通过利用亮度/色度分量之间的强相关性实现了显着的编码性能改进。但是CCLM在推导线性模型时，仅考虑单个下采样的亮度样本，而忽略了相邻亮度样本之间可能存在的相关性（比如空间相关性）。本提案作者观察到包含剧烈亮度强度变化的视频序列可能导致相应的色度值变化，称为紫边问题。本提案提出了两种技术，即基于滤波器的线性模型 (FLM) 和梯度线性模型 (GLM)，方法一：基于滤波器的线性模型（Filter-based Linear Mod
2022-04-28 10:26:53
665
原创 JVET-Y0092-基于DIMD推导的色度帧内预测模式
本文来自提案 JVET-Y0092介绍ECM3.1中色度分量的帧内预测模式好包括六种交叉分量线性模型 (LM) 模式（CCLM_LT、CCLM_L、CCLM_T、MMLM_LT、MMLM_L 和 MMLM_T 模式） 、直接模式 (DM) 和四 默认色度帧内预测模式。 四种默认模式由列表 {0,50,18,1} 给出，如果 DM 模式已经属于该列表，则列表中的模式将替换为模式 66。ECM中引入了DIMD技术，DIMD是为当前块的第二相邻行和第二列的L形模板的每个重建亮度样本计算水平梯度
2022-03-28 22:48:50
948
原创 H.266/VVC代码学习：reduceHadCandList函数
reduceHadCandList函数由estIntraPredLumaQT函数调用，主要是用来缩减后续进行全RD Cost细选的模式列表。基本过程：缩减传统候选模式数，仅加入Cost较小的前三种传统的模式 缩减MIP候选模式数，删除Cost较大的最后一种MIP模式 对于尺寸大于8x8的PU，判断前三种MIP模式矩阵是否在临时的候选模式列表中，如果不在，则将其加入进去代码如下：// candModeList 候选模式数// candCostList 候选模式代价列表// numMod
2022-03-28 10:20:12
614
原创 H.266/VVC技术学习：运动补偿时域滤波器（motion compensated temporal filter ）
运动补偿时域滤波器（Motion compensated temporal filter，MCTF）VTM 支持运动补偿时域滤波器（Motion compensated temporal filter，MCTF）。MCTF是一种编码前处理工具，即当视频帧进行编码前，对该帧进行时域滤波。该工具由CTC中的TemporalFilter选项控制是否开启。滤波过程Step1：通过使用一个或多个TemporalFilterStrengthFrame#配置选项，可以针对每个GOP中的不同图片调整时域滤波
2022-03-19 15:19:26
3920
原创 JVET-Y0055-CCLM 的斜率调整
本文来自JVET第25次会议中的提案JVET-Y0055：介绍当亮度与色度分量相关性较强时，CCLM预测性能较好。但当用于生成线性模型参数的参考像素可能有噪声，或者参考像素可能无法很好地代表实际预测块内的内容时，预测无法达到比较好的效果。本提案提出微调CCLM的线性模型参数来改进CCLM的性能。算法CCLM 使用斜率参数“a”和偏差参数“b”的线性模型将亮度值映射到色度值，映射如下：chromaVal = a * lumaVal + b本提案提出对斜率参数进行调整“u”以
2022-02-17 22:39:17
1780
1
原创 VCIP-2021-基于神经网络的双向预测混合
本文来自VCIP 2021的论文《Neural Network based Inter bi-prediction Blending》本文思路来自提案JVET-V0076，提出了一个基于全卷积的双向加权预测网络。网络框架如下所示，网络总共包括6层卷积，除最后一层外卷积层的激活函数都是ReLu，对于网络的最终输出预测值需要进行clip操作。输入块边界填充长度为N的像素。该网络应用VTM时，不需要传输码流，仅在满足特定条件时使用该网络进行加权预测，其余情况仍使用原来的加权预测方式（网络的
2022-01-26 16:42:21
3191
转载 pytorch的4种边界Padding方法
卷积操作作为卷积神经网络的核心模块，在其计算过程中必须考虑图像“边缘像素”的卷积方式。查阅资料发现，我们可以采用“卷积之前进行边界填充”或“卷积之后进行边界填充两种方式”，同时边界填充的具体手段包含常量填充、零填充、镜像填充以及重复填充等。在具体分析各种Pad之前，先创建一个2dTensor用于测试后面的填充操作：x = torch.Tensor([[1, 2], [3, 4]])创建的Tensor数值分别1、2、3、4：1、零填充ZeroPad2d我们最常用的是nn.ZeroPa
2022-01-13 21:54:39
2300
原创 TCSVT-2020-基于卷积神经网络的时空信息双向预测
本文来自TCSVT 2020的论文《Convolutional Neural Network Based Bi-Prediction Utilizing Spatial and Temporal Information in Video Coding 》介绍本文提出用于帧间双向加权预测的CNN，称为STCNN ，和之前工作不同的是，本文引入了空间相邻重建像素和参考帧的时间显示顺序作为额外信息，作者认为基于空域中相邻像素的高度相关性，引入当前块的空间相邻像素可以减少由块级运动补偿引起的块伪影。
2022-01-13 10:21:15
2851
1
原创 TCSVT-2019-基于卷积神经网络的增强双向预测
本文来自TCSVT 2019的论文《Enhanced Bi-Prediction With Convolutional Neural Network for High-Efficiency Video Coding》介绍传统的平均加权运动补偿是基于时域匀速运动和空域匀速运动的假设，无法很好地描述旋转、仿射变换和变形等不规则运动；此外，传统的加权预测是pixel-to-pixel级别的预测，与patch-to-patch级别的预测对比如下图所示，可以清楚的看出patch-to-patch可用的
2022-01-11 19:16:25
1816
原创 ECM技术学习：模板匹配（Template matching）
模板匹配（Template matching， TM）是一种解码端推导方法，用来细化当前CU的运动信息，使得当前CU的MV更准确。TM主要是通过寻找一个MV使得当前图片的模板（当前 CU 的顶部和/或左侧相邻块）和参考图片的模板之间的匹配误差最小。如下图所示，在 [– 8, +8] 像素搜索范围内围绕当前 CU 的初始 MV 搜索更好的 MV。其中TM是基于 AMVR 模式确定搜索步长，并且 TM 可以在Merge模式下与双边匹配（bilateral matching， BM）过程级联。在AM.
2021-12-19 22:21:47
2566
10
原创 ECM技术学习：基于模板匹配的Merge候选列表的自适应重排序（Adaptive reordering of merge candidates with template matching）
基于模板匹配的Merge候选列表的自适应重排序（Adaptive reordering of merge candidates with template matching， ARMC）技术是使用模板匹配的方法对Merge列表进行重排序，通过重排序，可以将更准确的Merge候选项放在Merge列表的前面，从而可以降低Merge索引的编码比特。ARMC-TM应用于常规Merge模式、模板匹配（TM） Merge模式和Affine Merge模式（不包括 SbTMVP 候选）。 对于 TM Merge模式，
2021-12-10 10:02:23
738
原创 ECM技术学习：重叠块运动补偿（Overlapped Block Motion Compensation）
重叠块运动补偿（Overlapped Block Motion Compensation，OBMC）技术是在当前块运动补偿完成之后，将使用相邻块的运动信息进行运动补偿得到的块与当前预测块进行加权，主要用于修正CU的边界像素，可以降低方块效应。不应用OBMC的条件如下所示：在 SPS 级别禁用 OBMC时 当前块为帧内模式或 IBC 模式时 当前块应用 LIC 时 当前亮度块像素数小于或等于 32 时对于基于子块的编码工具，提出使用子块OBMC，以使用相邻子块的运动信息将相同的加权融合应用于顶
2021-12-09 10:18:18
1658
原创 ECM技术学习：单向局部光照补偿（unidirectional local illumination compensation）
局部光照补偿 (local illumination compensation，LIC)技术基于光照变化的线性模型，认为当前块和参考块之间存在线性关系，表示为α*p[x]+β，其中p[x]是当前块单向预测MV指向的参考块，α和β是分别是缩放因子和偏移项，通过当前块模板和参考块模板（下图蓝色区域）推导得到，如下图所示。LIC的使用条件：仅用于帧间单向预测 对亮度样本少于32的块禁用 LIC 参考块模板的样本是通过使用当前块MV的运动补偿生成的，无需将其舍入到整数像素精度 不和CIIP、IB.
2021-12-08 10:32:18
3016
原创 ECM技术学习：基于模板的帧内模式推导(Template based intra mode derivation )
和基于梯度的帧内模式推导类似，ECM中还使用了基于模板的帧内模式推导。基本原理：对于当前待预测CU，在模板区域计算预测像素和重建像素的SATD，从MPM列表中选出两个SATD最小的预测模式mode1和mode2，根据mode1和mode2的SATD，决定是否应用加权融合。如果costMode2 < 2*costMode1，则使用mode1和mode2预测当前CU，并将mode1和mode2得到的预测值加权融合作为CU的最终预测值，其中weight1 = costMode2/(costMode1+c
2021-11-13 17:33:11
1744
原创 ECM技术学习：解码端帧内模式推导(Decoder-side Intra Mode Derivation )
解码端帧内模式推导（DIMD）技术是之前在VVC标准化的过程中提出的技术，因为其在解码端引入的复杂度较高，因此没有被VVC采纳。为了探索下一代压缩标准，JVET最近设立了最新的ECM参考平台，将DIMD技术包含了进去。DIMD技术，称为解码端帧内模式推导，是通过使用求出当前块相邻像素的梯度，来推导当前块的角度模式，从而可以降低编码模式比特。在解码端，通过使用相同的推导方式推导角度模式，恢复出重建YUV。1. 帧内模式推导DIMD使用当前块相邻的Template区域的重建像素推导帧内角度模式，如下
2021-11-13 17:02:46
2682
原创 基于深度学习的帧间预测技术
本帖用来记录JVET中各家单位将深度学习用于帧间预测的各种方法，为编码与深度学习结合提供思路。目前深度学习用于帧间编码的几个思路：双向加权预测 时域滤波 插帧
2021-10-27 23:06:09
1892
8
原创 VTM工程配置libtorch环境
VTM配置libtorch首先下载libtorch库,可以百度搜索下载地址.下载完成之后将其解压到文件夹中，如下图所示，其中include文件夹下是libtorch库的头文件；lib文件夹下是libtorch库的静态库（lib）和动态链接库（dll）；share文件夹下有之后cmake配置时要find的.cmake文件，用于在cmake时让项目链接到libtorch库；之后配置环境变量，如下图所示，将如下几个目录加入到环境变量中配置完成之后，就可以在VTM工程中的CMakeLi.
2021-10-21 09:53:10
1203
4
原创 H.266/VVC代码学习：读取和写入YUV
一、VTM中的YUV文件的IO接口VTM中是通过VideoIOYuv类控制YUV文件的读取和写入的，VideoIOYuv类是在VideoIOYuv.h文件中定义的。VideoIOYuv的成员变量包括以下几种，其中m_cHandle是fstream类型的变量，主要是用来打开/创建输入/输出的YUV文件，m_fileBitdepth表示输入/输出文件的比特深度；m_bitdepthShift在写入/读取之前/之后需要增加或减少的比特深度。private: fstream m_cHandl.
2021-10-11 22:00:42
1696
转载 C++文件读写详解（ofstream,ifstream,fstream）
这里主要是讨论fstream的内容：#include <fstream>ofstream //文件写操作 内存写入存储设备 ifstream //文件读操作，存储设备读区到内存中fstream //读写操作，对打开的文件可进行读写操作 1. 打开文件在fstream类中，成员函数open（）实现打开文件的操作，从而将数据流和文件进行关联，通过ofstream,ifstream,fstream对象进行对文件的读写操作函数..
2021-09-29 22:03:34
4287
原创 H.266/VVC技术学习之帧内模式编码
在HEVC中，支持33种角度模式、DC模式和Planar模式，为了减少编码比特，使用长度为3的最可能模式列表。在VVC中，引入了ISP模式、MRL模式、MIP模式等，帧内模式编码时需要先对这些模式的flag进行编码。VVC将角度模式扩展到了65种角度模式，因此，将MPM列表相应地扩展到了长度6。这里，Planar模式总是在MPM列表中，且有单独的flag表示。1. 帧内亮度模式编码帧内亮度模式编码流程如上图所示，其中包括MIP模式、MRL模式、ISP模式以及MPM相关的语法元素。首先编码mi
2021-09-16 22:24:09
2273
转载 视频编码基础：I帧、P帧 和 B 帧
I 帧、P 帧和 B 帧的概念是视频压缩领域的基础。这三种帧类型在特定情况下用于提高编解码器的压缩效率、压缩流的视频质量以及流对传输和存储错误和故障的恢复能力。在本文中，我们将了解 I 帧、P 帧和 B 帧的工作原理以及它们的用途。目录1. 帧内预测和帧间预测2. 什么是I帧？3. 什么是P帧？4. 什么是B帧？5. 参考B帧和非参考B帧6.在视频压缩/流化中使用I、P和B帧6.1 在哪里使用I帧？6.2 刷新视频质量6.3 恢复比特流错误6.4 Tr...
2021-09-16 15:39:27
8211
原创 H.266/VVC技术学习：算术编码
算术编码是一种常用的变长编码方法，和Huffman编码类似，也是对出现概率大的符号赋予短码，出现概率小的符号赋予长码，但算术编码不是简单的将每个信源符号映射成一个码字，而是对整个输入序列分配一个码字，所以平均意义上可以为每个信源符号分配长度小于1的码字。算术编码的原理参考：熵编码：算术编码H.266/VVC中采用的是基于上下文的自适应二进制算术编码（Context-based Adaptive Binary Arithmetic Coding，CABAC）。CABAC将二进制算术编码和上下文模型结合
2021-08-15 17:25:40
1916
1
原创 H.266/VVC熵编码之二进制化
在对语法元素进行编码前，需要对语法元素进行二进制化（使用二进制符号0或1表示）。VVC中常用的二进制化方法包括截断莱码（truncated Rice (TR)）、截断二进制码（truncated binary (TB)）、k阶指数哥伦布码（the k-thorder Exp-Golomb (EGk) binarization）和定长码（fixed-length (FL)）。1、定长码给定一个参数cMax，使用定长码编码得到的码长为Length = Ceil( Log2( cMax +...
2021-08-15 11:18:56
1202
DCT_base.m
2019-12-09
VS2017+dlib
2019-08-12
cmakeOpencv3.4.rar
2019-08-11
cmakeopencv320.zip
2019-08-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人