多媒体
文章平均质量分 86
Dillon2015
从事视频编码的相关研究。
邮箱:13141211944@163.com
展开
-
帧内预测中的参考像素滤波和像素投影
参考像素滤波在帧内预测时需要使用左侧一列和上方一行重建像素作为参考像素。在使用参考像素进行预测前为了更好的利用空域相关性和降噪,通常需要对参考像素进行滤波。在HEVC中根据TU大小和帧内预测模式的不同会使用不同的滤波,即模式依赖的参考像素滤波( mode dependent intra reference sample smoothing,MDIS)。滤波选择(1)不同尺寸TU的滤波 DC模式的任何尺寸TU都不进行滤波。 4x4大小的TU不进行滤波。 32x3...原创 2021-02-01 11:45:11 · 43156 阅读 · 1 评论 -
DCC2020:基于局部纹理相关性优化帧内预测RDO
本文来自DCC2020文章《Revisiting Local Texture Correlation for Rate-distortion Optimized Intra Coding》本文通过分析局部纹理下的相关性来选择帧内预测的率失真优化时最优的模式。局部纹理相关性早在1970s就有图像相关性模型的研究,研究认为像素值满足均值为0,方差固定的高斯分布。像素Ix,y和Ix',y'的相关性计算如下:(x,y)表示像素的坐标。不同的u和v会导致相关性沿着不同方向。考虑到视频...原创 2021-01-22 12:29:20 · 43191 阅读 · 0 评论 -
DCC2020:色度分量子像素跨分支预测
本文来自DCC2020论文《Sub-sampled Cross-Component Prediction For Chroma Component Coding》跨分支预测可以去除不同颜色分量间的冗余,最初在HEVC中就提出过CCLM来实现跨分支预测。CCLMCCLM(Cross-component linear prediction mode)使用一个线性模型来通过亮度来预测色度。该线性模型使用最小二乘法( least square regression,LSR)利用邻域参考像素...原创 2021-01-13 10:55:07 · 44170 阅读 · 2 评论 -
DCC2020:VVC中的LMCS
本文来自DCC2020论文《Luma Mapping with Chroma Scaling in Versatile Video Coding》LMCS(Luma Mapping with Chroma Scaling)主要包括两部分,1)亮度映射,通过充分利用特定位深下的亮度值取值范围提高SDR和HDR视频的压缩效率;2)依赖亮度的色度缩放,主要用于控制亮度和色度分量的相对压缩效率。LMCS编码工具LMCS主要包括两个部分:亮度映射(LM)、依赖亮度的色度缩放(CS)。...原创 2020-12-30 11:22:52 · 45755 阅读 · 0 评论 -
DCC2020:VVC帧内预测中基于梯度的CU划分早停止
本文来自DCC2020论文《Gradient-based Early Termination of CU Partition in VVCIntra Coding》通过方向梯度预先决定是否对块在水平或垂直方向进行二叉树或三叉树划分,在VTM5.0上可以在BD-Rate损失只有1.2%的情况下节省51%的时间。VVC中CU划分和帧内编码概述VVC中CTU大小是128x128,首先进行四叉树划分,四叉树的叶子节点可以进一步按照二叉树或三叉树划分。Fig.1是一个划分示例,...原创 2020-12-22 10:15:04 · 45424 阅读 · 1 评论 -
ICASSP2020:VVC基于线性模型的帧内预测模式
本文来自ICASSP2020论文《LINEAR MODEL-BASED INTRA PREDICTION IN VVC TEST MODEL》论文使用含3个参数的线性模型进行帧内预测 Linear Model-based Intra Prediction (LMIP),在VTM4.0平台上AI配置和RA配置下分别取得0.30%和0.14%的BD-Rate增益。基于线性模型的帧内预测LMIP文章提出了包含3个参数的线性模型,通过待预测块的邻域像素值和邻域像素位置训练该模型,然后通过这...原创 2020-12-09 07:51:35 · 44587 阅读 · 0 评论 -
ICASSP2020:VVC帧内码率控制二次模型
本文来自ICASSP2020论文《INTRA FRAME RATE CONTROL FOR VERSATILE VIDEO CODING WITH QUADRATIC RATE-DISTORTION MODELLING》本文在VVC中提出了新的二次R-D模型,在VTM2.0平台帧内编码模式下相对于默认码率控制算法在相似控制精度下可达到0.77% BD-BR。R-D模型VVC中传统的RD模型VVC中RD模型是双曲线模型,其中失真D用MSE度量,码率R用bpp(bit pe...原创 2020-12-15 11:28:48 · 44770 阅读 · 3 评论 -
ICIP2020:VVC无损模式中ISP的快速实现
本文来自ICIP2020论文《A FAST LOSSLESS IMPLEMENTATION OF THE INTRA SUBPARTITION MODE FOR VVC》VVC主要通过 Transform Skip Mode(TSM) 实现无损编码,由于VVC不支持同时使用TSM和Intra Subpartition (ISP),本文将研究在VVC在无损编码中结合TSM和ISP。VVC中无损编码的实现的主要配置如下: 对所有CU使用TSM模式。 对于8比特输入信号选择QP为原创 2020-12-04 10:21:53 · 45116 阅读 · 0 评论 -
ICIP2020:VVC两步渐进式帧内预测
本文来自ICIP2020文章《TWO-STEP PROGRESSIVE INTRA PREDICTION FOR VERSATILE VIDEO CODING》由于VVC的帧内预测只使用局部的参考像素无法处理复杂的纹理。本文中在帧内预测时结合了局部和非局部相关性进一步降低冗余。动机由于低频系数通常偏大,需要很多比特来编码。如果能对低频系数进行更精准的估计那么编码效率会进一步提高。 模板匹配(Template matching,TM) 由于利用局部信息来恢复低频信息很困难...原创 2020-12-01 10:39:28 · 45183 阅读 · 0 评论 -
ICIP2020:VVC解码端基于GPU的运动补偿优化
本文来自ICIP2020文章《OPTIMIZATION OF MOTION COMPENSATION BASED ON GPU AND CPU FOR VVC DECODING》文章提出基于GPU的运动补偿来加速VVC解码。根据数据依赖重划分CU和根据不同条件采用不同线程组织方式来充分利用GPU性能。实验表明在NVIDIA GeForce RTX 2080Ti GPU上5ms可以完成UHD 4K视频的运动补偿,比CPU快16倍。VVC中运动补偿运动补偿是VVC中最耗时的部分。Fig.1原创 2020-11-27 13:22:18 · 45325 阅读 · 0 评论 -
H.266标准文本开放下载了
喜大普奔,H.266/VVC标准文本终于开放下载了。全文共516页,为了方便大家下载我已经上传到百度网盘(对话框回复“266文本”即可获取链接),大家也可以自行到官网下载。感兴趣的请关注微信公众号Video Coding...原创 2020-11-14 11:28:16 · 1492 阅读 · 3 评论 -
ICIP2020:VVC实时解码器实现
本文来自ICIP2020论文《TOWARDS A LIVE SOFTWARE DECODER IMPLEMENTATION FOR THE UPCOMING VERSATILE VIDEO CODING(VVC) CODEC》引言VVC参考软件VTM实现了VVC编码器和解码器,它的主要焦点是新技术的实验和一些粗略的复杂性分析。并且作为一个参考实现它的目标主要是正确性、完整性和可读性,不考虑用于商业和消费系统。基于这些原因VTM并没有很好的优化,仅实现了一些基本的SIMD算法,并且在解码端不...原创 2020-11-23 10:05:24 · 45857 阅读 · 0 评论 -
ICIP2020:利用CNN降低VVC帧内编码复杂度
本文来自ICIP2020论文《CNN ORIENTED COMPLEXITY REDUCTION OF VVC INTRA ENCODER》VVC复杂度增加很大一部分是因为其块划分方式,除了四叉树划分还支持二叉树和三叉树划分。该论文通过使用CNN在All Intra(AI)模式下预测块的划分方式减少计算复杂度。上图Fig.1是VVC的块划分模式,二叉树和三叉树可以在水平和垂直方向上划分产生矩阵子块。VVC需要对每种划分模式计算RD cost,选择RD cost的作为最终模式计算量非...原创 2020-11-16 11:38:45 · 46157 阅读 · 6 评论 -
ICIP2020:VVC帧内编码复杂度分析
本文来自ICIP2020论文《COMPLEXITY ANALYSIS OF VVC INTRA CODING》VVC帧内编码分析上图Fig.1是VVC帧内预测流程。MRL、MIP、MPM、ISP可以参考以前的文章。Rough Mode Decision(RMD)和Most Probabla Modes(MPM)和HEVC类似。在VVC中RMD分为两步(RMD-1,RMD-2)以避免对所有67种帧内预测模式做估计。RMD-1只评估planar模式、DC模式和HEVC中的33种角度模式,计...原创 2020-11-12 09:59:27 · 47572 阅读 · 12 评论 -
ICIP2020:VVC复杂度分析
本文内容来自ICIP2020论文《COMPLEXITY ANALYSIS OF NEXT-GENERATION VVC ENCODING AND DECODING》论文使用VTM6对编码端和解码端的速度及内存占用情况进行分析并和HM16做对比。VVC新增工具 块划分 最大CTU尺寸变为128x128,且引入多类型树划分,允许CTU按照四叉树、二叉树、三叉树方式划分。 帧内预测 允许67个帧内预测模型,其中65个角度模式、DC模式、planar模式。允许非正方形块的帧...原创 2020-11-09 10:20:01 · 46947 阅读 · 2 评论 -
ICIP2020:VVC码率控制
本文内容来自ICIP 2020的文章《RATE CONTROL FOR VERSATILE VIDEO CODING》该文章主要是通过对skip块的分析提出了RD参数的更新策略和帧级码率分配的质量依赖因子。由于VVC增加了很多新的技术尤其是帧间预测技术,使得很多块能很好的预测从而变成skip块其残差为0。RD参数更新码率控制问题最终可以转化为公式(1)有约束优化问题,其中lambda是拉格朗日乘子,它是RD曲线的切线,在数学上表示R(D)函数的导数。VVC中仍然使用R-...原创 2020-11-05 09:54:17 · 47161 阅读 · 0 评论 -
图像质量评价(四):SSIM和MSSIM
图像质量评价(四):SSIM和MSSIMSSIMSSIM是一个广泛使用的图像质量评价指标,它是基于人眼观看图像时会提取其中的结构化信息的假设。SSIM是一种全参考的评价方法,对于图像x和图像y,其SSIM计算方式如下:上式中l(x,y)是用均值来估计亮度,c(x,y)是用方差估计对比度,s(x,y)是用协方差估计结构相似度。所以SSIM定义为:可以看出SSIM满足以下性质: 对称性:SSIM(x,y)=SSIM(y,x) 有界性:SSIM...原创 2020-09-17 09:15:53 · 57707 阅读 · 7 评论 -
图像质量评价(三):FSIM
图像质量评价(三):FSIMfeature similarity index mersure(FSIM)利用特征相似性进行质量评价。因为human visual system (HVS)是基于一些低层次特征来感知图像的,而相位一致性特征( phase congruency,PC)可以很好的刻画局部结构。同时由于PC对于图像的变化具有相对不变性,这有利于提取图像中稳定的特征但是有时图像的变化确实会影响观感,所以需要使用梯度特征(gradient magnitude,GM)来弥补。FSIM中使用了PC和GM原创 2020-09-12 11:07:18 · 52144 阅读 · 0 评论 -
图像质量评价(二):VSI
图像质量评价(二):VSIVisual Saliency-Induced Index(VSI)主要利用图像显著性特征图的失真来计算图像质量。VSI是一个全参考(FR)的评价标准,所以可以使用无失真的参考图像。研究发现质量失真会引起视觉显著性(Visual Saliency,VS)的改变,并且这种改变与失真有很强的相关性。为了验证这个猜想可以进行实验,可以对TID2013数据集的VS maps进行分析。TID2013有25个参考图像,24种失真类型,5个失真水平。每种类型的每个水平的失真对应25个失真原创 2020-09-01 10:20:26 · 49632 阅读 · 6 评论 -
图像质量评价(一):IQA介绍
质量评价(一):IQA介绍简介图像质量评价(Image quality assessment,IQA)目的在于使用计算模型来衡量图像质量使结果与主观质量保持一致(即主观质量好的图像其IQA评分也应该越高)。随着数字图像和传输技术的快速增长,IQA在图像获取、传输、压缩、恢复、增强等领域也变得更加重要。由于主观IQA技术在很多场景(例如实时场景等)无法使用,所以需要发展客观IQA技术来自动的、稳健的衡量图像质量。同时需要评价结果与人类观察员是统计一致的。在过去几十年间已经出现了多种IQA方法。IQ原创 2020-08-28 09:03:06 · 52219 阅读 · 4 评论 -
BMP文件格式
BMP(Bitmap-File)图像文件,又叫位图文件,是Windows采用的图形文件格式,在Windows环境下运行的所有图像处理软件都支持BMP图像文件格式。Windows 3.0以前的BMP图与显示设备有关,因此把这种BMP图像称为设备相关位图DDB(device-dependent bitmap)文件格式。Windows 3.0以后的BMP图象文件与显示设备无关,因此把这种BMP图象文件格式称为设备无关位图DIB(device-independent bitmap)格式。它采用位映射存...原创 2020-05-25 08:38:06 · 54833 阅读 · 0 评论 -
NTSC、PAL、SECAM彩色电视制式
NTSC、PAL和SECAM是世界上最主要的三大电视制式,并且这三种制式间不能兼容,例如PAL的视频不能在NTSC制式的电视上播放。下图是三种制式在世界上的使用分布图。NTSC制式NTSC制式,简称N制,是1952年12月由美国国家电视标准委员会(National Television Standards Committee,NTCS)制定的彩色电视广播标准。属于同时制,帧率为2...原创 2019-12-20 11:49:08 · 7990 阅读 · 0 评论 -
10 12 14bit图像存储格式
目前大多数图像和视频是采用每个像素8bit的方式存储,恰好是一个字节的长度。随着图像和视频向超高清方向发展,8bit已经不能满足对画质和色彩的需求。已经出现了每个像素用10bit、12bit、14bit的应用,由于它们无法用1个字节表示,如果使用2个字节又会浪费空间,所有需要将每个像素拆分表示。一般将每像素10bit的RGB和YUV图像分别表示为PRGB10和PYUV10,每像素12bit的R...原创 2019-11-28 10:04:49 · 64227 阅读 · 3 评论 -
BT500-BT1788主观质量评价
视频的最终接收者是人类,所以对视频来说最重要的评价指标是人的主观感受,同时这种主观评价指标对于比较不同内容的视频、不同算法、促进不同实验室的信息交换等至关重要。所以需要一种标准的主观测量方法来计算这种指标。ITU-R颁布的BT.500《电视图像质量的主观评定方法》和BT.1788《对多媒体应用中视频质量的主观评估方法》对主观测试方法进行了规定。1、观测条件下表列出了BT.1788建议的...原创 2019-11-25 22:31:18 · 56041 阅读 · 0 评论 -
BT.709 vs BT.2020
BT.709和BT.2020都是ITU-R发布的电视参数标准。BT.709是《节目制作和国际节目交换中使用高清晰度电视标准的参数值》,指定了高清电视也就是常说的1080p电视的参数标准。BT.2020是《超高清电视系统节目制作和国际交换的参数数值》,指定了超高清电视(包括4K和8K)的参数标准。BT.709BT.709中规定了视频的扫描方式包括逐行(P)采集和隔行(I)采集。逐行采...原创 2019-11-22 17:29:57 · 75558 阅读 · 0 评论 -
y4m格式解析
YUV4MPEG2格式 文件扩展名:.y4m 格式样例:http://samples.mplayerhq.hu/yuv4mpeg2/ YUV4MPEG2格式是一种未压缩的视频文件格式,由文件头和各个帧的数据组成,每帧数据是YCbCr420,YCbCr422或YCbCr444格式。下图是y4m格式文件的结构。数据格式文件头:文件头是以明文形式存储的,前10个字节...原创 2019-08-29 09:59:05 · 55363 阅读 · 0 评论 -
NALU格式解析
NALU是压缩视频的基本单位,根据不同场景和传输机制NALU分为2种传输模式:分组流和字节流分组流分组流是基于RTP协议的方式,直接将NALU作为RTP分组的载荷部分。字节流字节流方式则是NALU按照解码顺序排列成字节流传输。由于NALU里没有NALU长度信息,所以如果NALU直接连接成字节流就无法区分不同的NALU,为了解决这个问题需要在每个NALU前添加起始码字段。在H.265...原创 2019-10-14 20:05:47 · 58552 阅读 · 0 评论 -
FLV文件格式解析
FLV文件格式解析FLV 是FLASH VIDEO的简称,FLV流媒体格式是随着Flash MX的推出发展而来的视频格式。由于它形成的文件极小、加载速度极快,使得网络观看视频文件成为可能,它的出现有效地解决了视频文件导入Flash后,使导出的SWF文件体积庞大,不能在网络上很好的使用等问题。FLV由FLV头+tagSize+tag....构成,如图:每个PreviousTag...原创 2019-10-13 21:35:23 · 56512 阅读 · 0 评论