CCLM的改进

最新推荐文章于 2023-12-23 01:26:29 发布
最新推荐文章于 2023-12-23 01:26:29 发布
阅读量2.6w 收藏 5
点赞数 1
分类专栏： H.266/VVC 视频编码 文章标签： CCLM MMLM MFLM LAP ECM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Dillon2015/article/details/121755345
版权

跨分支线性模型(Cross-component linear model,CCLM)是VVC新增的帧内预测技术，它假设同一个编码块的色度像素值和对应的亮度像素值有线性关系，所以CCLM使用一个线性模型直接使用亮度像素的重建值生成对应色度像素的预测值。 

其中α和β是模型参数，有色度相邻像素求得。  Rec_{L}^{'}[x,y]是色度像素对应亮度像素的重建值，对于YUV420格式视频需要对亮度进行下采样，如图1。

图1 CCLM下采样

为了进一步提高CCLM的编码效率，在ECM中对CCLM进行了改进，有以下三个方面：

  • 多模型LM，Multi-model LM (MMLM)

  • 多滤波器LM，Multi-filter LM (MFLM)

  • 结合角度的LM，LM-Angular combined prediction (LAP)

MMLM

在CCLM中，同一个CU的亮度和色度间只有一个线性模型。而MMLM为同一个CU提供了多个模型。在MMLM中，邻域的亮度和色度像素被分为不同类别，每个类别中的像素分别用于求不同的模型参数alpha和β。

在MMLM中，像素可被分为2类或3类，分别记为MMLM2和MMLM3，原始的CCLM方法记为LM，编码器根据RDO结果选择最优模式。

当分为2类时，根据阈值threshold对邻域像素分类，threshold为邻域亮度重建像素的均值。两个类别分别求出不同的模型，然后分别根据CCLM计算色度预测值，如下式。

图2 MMLM2示例

图2是分为2类的一个示例，阈值为17，两个类别使用不同的线性模型。

MFLM

在CCLM中，需要对亮度重建像素进行下采样以匹配对应色度像素。MFLM提供了4种下采样方法。

LAP

LAP的原理是色度像素的预测值由传统帧内预测值P1和MMLM2求得的预测值P2加权得到，

P1是由传统帧内预测模式（角度、DC、Planar模型）计算的预测值，P2是由MMLM2计算的预测值。如果当前色度块未使用LM模式只使用了传统的帧内预测模式，则需要传输一个标志位表示是否使用了LAP。

实验结果

参考文献

[1]KaiZhang, Jianle Chen, Li Zhang, Marta Karczewicz,JVET-D0110,"Enhanced Cross-componentLinear Model Intra-prediction,"October 2016.

感兴趣的请关注微信公众号Video Coding

​

创业公司的用户留存与复活策略
AI天才研究院
10-18 762
用户留存：用户留存是指企业在一定时间内维持现有用户数量的能力。它是一个衡量用户对产品或服务的依赖程度的重要指标。高留存率意味着用户对产品有较高的满意度，并且愿意长期使用。用户复活：用户复活是指通过有效的策略，重新激活已流失的用户。在市场竞争激烈的环境下，用户复活策略尤为重要，因为它可以帮助企业降低获取新用户的成本，提高用户生命周期价值。核心概念与联系图fill:#333;color:#333;color:#333;fill:none;用户留存用户获取成本用户生命周期管理用户留存率用户流失率。
H264、H265、H266、AV1编码标准技术全面总结
世界那么大，我想去看看～
11-23 3182
H264、H265、H266、AV1编码标准技术全面总结
H.266：CCLM技术详解
小小柴的博客
02-27 3968
     在H.266的帧内预测模块中，加入了CCLM这个新技术。这个技术其实是CCP技术的一个扩展，CCP技术已经在H.265中被采用，CCP指的是利用亮度残差预测色度残差，是应用于残差域的，而CCLM技术将残差域限制打破，被应用到更多领域。      首先，CCLM的字面意思是分量间预测，显然，分量指的是亮度分量和色度分量，色度分量又进一步包括Cb分量和Cr分量。所以，由此可知，CCLM中包...
【VTM10.0】帧内之CCLM技术
zzy_pphz的博客
05-12 524
为了减少分量间的冗余，提出分量间线性模型预测技术，基本思想是假设亮度分量和色度分量间存在某种线性关系，根据此线性关系实现亮度分量到色度分量的预测。 VVC中CCLM步骤如下： 1.使用特定位置的四个点。 对同位亮度块的 上述4个位置 以及 块内的所有 亮度样本进行下采样以获得和色度样本一一对应的亮度样本。以CCLM为例： VTM10.0亮度下采样的代码： 用于生成包括参考像素和块内像素的下采样亮度值。 // LumaRecPixels 获得亮度的重建值 void IntraPrediction
H.266/VVC技术学习：帧内预测之CCLM技术
BigDream123的博客
09-04 3243
一、CCLM技术原理 CCLM，即交叉分量线性模型（CCLM）预测模式，该技术的核心思想是为了减少交叉分量冗余，进行跨分量预测，主要是利用同一编码块的重建亮度像素构造色度像素的预测值。 其中表示当前CU的色度预测像素，表示当前CU的下采样重建亮度像素，和称为线性模型参数，由相邻的4个色度像素和对应的下采样的亮度像素生成导出。假设当前色度块尺寸为W×H，则W’和H’设为 W’=W, H’=H 当前模式是LM模式时; W’=W+H 当前模式是LM-A模式时; H’=H+...
H.266/VVC：色度帧内预测模式之CCLM技术
B_gorgeous的博客
10-19 1679
一、色度模式编码 1.色度预测模式候选列表 VVC中色度分量的预测过程和亮度分量预测过程不同，其首先是构建色度预测模式候选列表如下表，有8种模式，由4种和亮度模式相同的模式、3种CCLM模式和1种DM模式组成；然后根据RD check对这8个候选模式进行选择；最后把选择的最优模式按照特定的熵编码方式进行编码。 前4种模式为和亮度模式相同的模式： 模式0：Planar模式 模式1：垂直模式 模式2：水平模式 模式3：DC模式 模式4~模式6：都是CCLM模式，但各不同，下面会详细介绍 模式7：DM模式，即是
H.266 JEM7.0 帧内预测之三（跨分量线性模型预测CCLM）
Veronica.。oO的博客
08-03 1025
为了减少跨分量冗余，提出CCLM。假设色度和亮度内容中存在现行关系，同一个CU的色度样本根据重构亮度样本进行预测，通过采用一个线性模型来实现： predc(i,j)=α∗rec′(i,j)L+βpredc(i,j)=α∗recL′(i,j)+βpred_c(i,j)=\alpha*rec_L^{'(i,j)}+\beta 左边代表CU中预测的色度样本，rec代表同一个CU的下采样的重构亮度样本...
H.266帧内色度预测模式：分量间线性模型(CCLM)预测
慢慢积累
10-13 4082
主要参考翻译JVET-C1001 2.2.4 Cross-component linear model prediction 在HEVC中使用了Cross-component prediction分量间预测。在H.266中，对其进行了扩展改进，提出了Cross-component linear model prediction(CCLM)分量间线性模型预测并采纳加入JEM中，其对于编码性能的提升...
H.266 JEM相对于HEVC HM的改进
慢慢积累
12-18 5498
参考文献：JEM algorithm description editing 目前JEM最新版本为JEM7.0，相对于HEVC的改进如下： 1.块结构： 四叉树+二叉树块结构，支持更大CTU（最大可为256x256，CTC为128x128）——http://blog.csdn.net/lin453701006/article/details/52753724 2.帧内预测 65个帧内预测...
H ∞ control of LPV systems with randomly multi-step sensor delays
02-09
虽然由于文档的OCR扫描问题，部分内容可能有误或漏识，但根据上下文可以推断出，这些模拟结果应该展示了在LPV系统上应用改进的H∞控制策略，并结合了对随机多步传感器延时的考量之后，系统性能的改进和控制效果的...
VVC帧内预测（二）CCLM
热门推荐
Dillon2015的博客
12-06 5万+
跨分支线性模型(Cross-component linear model,CCLM)预测中假设同一个编码块的色度像素值和对应的亮度像素值有线性关系，所以CCLM使用一个线性模型从亮度像素的重建值生成对应色度像素的预测值。 CCLM的参数α和β由相邻的4个色度像素和对应的降采样的亮度像素生成，假设当前块尺寸是WxH，则W′和H′由下列步骤生成： 当使用LM模式时，W′=W，H′=H...
CCLM相关函数
m0_37971774的博客
06-23 298
CCLM相关函数 xCheckRDCostIntra() 帧内预测 ​ m_pcIntraSearch->estIntraPredChromaQT() 色度 ​ predIntraChromaLM(COMPONENT_Cb, predCb, pu, areaCb, mode); ​ piPred.linearTransform(a, iShift, b, true, pu.cs->slice->clpRng(compID)); ​ predIntraAng(CO
JVET-Z0140-增强的CCLM
BigDream123的博客
04-28 792
本篇来自JVET-Z0140提案： 在VVC/ECM中，CCLM 通过利用亮度/色度分量之间的强相关性实现了显着的编码性能改进。但是CCLM在推导线性模型时，仅考虑单个下采样的亮度样本，而忽略了相邻亮度样本之间可能存在的相关性（比如空间相关性）。本提案作者观察到包含剧烈亮度强度变化的视频序列可能导致相应的色度值变化，称为紫边问题。 本提案提出了两种技术，即基于滤波器的线性模型 (FLM) 和梯度线性模型 (GLM)， 方法一：基于滤波器的线性模型（Filter-based Linear Mod
H.266/VVC代码学习笔记3：带你解析VTM5.0中CCLM的代码实现细节
Peter_Red_Boy的博客
05-07 2621
昨天VVC新的参考软件VTM5.0正式发布啦，其中对于CCLM部分的改动还是挺大的。接下来我来详细讲讲改动的地方，并且讲一下具体的代码实现细节，希望对大家理解有所帮助~ 首先，VTM4.0中的CCLM是通过对所有的相邻参考像素去搜寻一个亮度最小点和一个亮度最大点，通过这两个点去拟合线性模型。 如今的VTM5.0中的CCLM现在只从相邻参考像素中总共找四个点或者两个点，如果是四个点的情况，则先进行排...
H.266中MMLM技术的详细流程
小小柴的博客
03-17 2823
JEM中的色度模式总共有11种，包括5种传统预测模式和6种CCLM模式，其中6种CCLM模式又包括1种单模型CCLM（编号67）模式和5种多模型CCLM模式（编号68-72）。在色度预测的总函数中，遍历这11种模式，根据代价选择最优的一个。1.   首先，为了加快RD cost的选择过程，我们先用69-72这四种MMLM模式对色度信号进行预测，从而计算简单的SATD，选择最小的一种模式进行后续的R...
视频编码结构
dlm19980111的博客
11-22 2778
视频码率 视频码率就是视频传输时单位时间传输的数据位数，一般我们用的单位是kbps即千位每秒。通俗一点就是取样率，单位时间内取样率越大，精度就越高，处理出来的文件就越接近原始文件。 但是文件体积与取样率是成正比的，所以几乎所有的编码格式重视的都是如何用最低的码率达到最少的失真，围绕这个核心衍生出来的cbr(固定码率)与vbr(可变码率)。 ...
H.266/VVC相关技术学习笔记1：多模型CCLM(跨分量间线性模型预测)的发展历程+MMLM技术实现细节详解！！！
Peter_Red_Boy的博客
05-06 4477
之前详细地学习了关于MMLM的发展历程以及实现的细节，最近有空我来总结一下，希望对大家有所帮助~ 多模型CCLM全称是：Multi-model Based Cross-component Linear Model Chroma Intra-prediction for Video Coding(MM-CCLM)，简称MMLM。 最早提出MMLM是LG在H.266/VVC的JEM版本上的，那时候的单...
ECM(Enhanced Compression Model )新技术
maryhaocoolcool的博客
09-21 3056
Enhanced Compression Model 是 继VVC的另一个高级标准。 1.帧内预测： Multi-model LM(MMLM): JVET-D0110, Gradient PDPC: JVET-Q0391,由于没有二次参考样本，在少数情况下，PDPC可能无法应用。 在这些情况下，应用了从水平/垂直模式扩展而来的基于梯度的PDPC。将PDPC权值(wT / wL)和nScale参数分别设置为水平/垂直模式下对应的参数...
H266/VVC帧内预测编码技术概述
世界那么大，我想去看看～
12-23 2349
H 266/VVC帧内预测编码技术概述
MMLM和AP是什么评价指标
最新发布
12-28
### MMLM 和 AP 评估指标的定义及应用场景 #### Masked Multi-Layer Model (MMLM) Masked Multi-layer Model (MMLM) 并不是一个广泛使用的标准术语，尤其是在信息检索或机器学习领域。如果指的是类似于 BERT 中采用的 Masked Language Modeling (MLM)，那么该方法是指一种预训练策略，其中模型被训练来预测输入序列中随机遮蔽掉的一些单词[^1]。 这种机制允许模型理解上下文并学会双向编码器表示，从而更好地捕捉文本中的语义关系。在实际应用中，MLM 被用于各种自然语言处理任务前的任务无关阶段，即预训练阶段，之后再针对具体的下游任务进行微调。 #### Average Precision (AP) Average Precision (AP) 是衡量信息检索系统性能的一个重要度量，在二分类或多标签分类问题中也经常使用。它综合考虑了查准率(Precision)和查全率(Recall)两个方面： - **Precision at k**: 对于给定查询返回的结果列表，取前k个文档中有多少是相关文档的比例。 - **Recall at k**: 前k个文档中找到的相关文档占所有真实相关文档总数的比例。 AP 计算方式如下：对于每一个召回水平 r ∈ {0, ..., R}（R 表示最大可能的召回），计算此时对应的精度 p(r)，然后求这些精度值的平均值得到最终的 AP 分数。当存在多个相关项时，AP 可以看作是对不同阈值下 precision-recall 曲线下面积的一种估计[^2]。 ```python def average_precision(relevant_items, retrieved_items): """ Calculate the Average Precision. :param relevant_items: List of items that are actually relevant to the query. :param retrieved_items: Ordered list of items returned by a search engine or classifier. :return: The calculated Average Precision score as float value between 0 and 1. """ if not relevant_items: return 0 num_relevant = sum([1 for item in retrieved_items[:len(relevant_items)] if item in relevant_items]) ap_sum = 0.0 hit_count = 0 for i, doc_id in enumerate(retrieved_items): if doc_id in relevant_items: hit_count += 1 precision_at_k = hit_count / (i + 1) ap_sum += precision_at_k avg_prec = ap_sum / min(len(relevant_items), len(retrieved_items)) return avg_prec ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值