AVS3中Intra预测过程 - HPM代码分析

最新推荐文章于 2022-11-01 22:33:24 发布
最新推荐文章于 2022-11-01 22:33:24 发布
阅读量1.2k 收藏 16
点赞数 4
分类专栏： 视频编码 AVS3
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lrzkd/article/details/115377076
版权

  视频编码中，帧内预测需要获取相邻块的参考像素才能获得重建，在AVS3参考软件平台HPM中，这个过程是如何实现的呢？

HPM中的map_scu

1、什么是SCU？

  SCU是Smallest CU的缩写。HPM中，最大CU是128x128，最小是4x4。

  CU编码的信息，无论CU大小都以SCU为基本单位进行存储。这样只需知道CU的(x, y)坐标，就可以计算相邻左边、上边、左上角等块的位置，获取他们的编码信息为当前编码块所用。

#define MAX_CU_LOG2                        7
#define MIN_CU_LOG2                        2
#define MAX_CU_SIZE                       (1 << MAX_CU_LOG2)
#define MIN_CU_SIZE                       (1 << MIN_CU_LOG2)

2、什么是map_scu？

  HPM为每个scu都定义了一个map_scu用于存储CU编码的重要信息，map_scu是一个unsigned int 32数组，将CU的编码模式，QP，Skip mode Flag，luma cbf等信息紧凑的存储在一个变量中，这样可以更高效利用存储，减少内存访问及Cache Miss，具体定义如下。其中第31位存储了CU是否编完的信息。图1为map_scu一个32bit数据所存放的编码信息示意图。

 

图1、map_scu编码信息存放示意图 
/*****************************************************************************
 * macros for CU map

 - [ 0: 6] : slice number (0 ~ 128)
 - [ 7:14] : reserved
 - [15:15] : 1 -> intra CU, 0 -> inter CU
 - [16:22] : QP
 - [23:23] : skip mode flag
 - [24:24] : luma cbf
 - [25:25] : ibc flag
 - [26:30] : reserved
 - [31:31] : 0 -> no encoded/decoded CU, 1 -> encoded/decoded CU
 *****************************************************************************/

Intra预测过程

  (1) 调用com_get_avail_intra，判断左边、上边和左上相邻块是否存在。

u16 com_get_avail_intra(int x_scu, int y_scu, int pic_width_in_scu, int scup, u32 * map_scu)
{
    u16 avail = 0;
    if (x_scu > 0 && MCU_GET_CODED_FLAG(map_scu[scup - 1]))
    {
        SET_AVAIL(avail, AVAIL_LE);
    }
    if (y_scu > 0)
    {
        if (MCU_GET_CODED_FLAG(map_scu[scup - pic_width_in_scu]))
        {
            SET_AVAIL(avail, AVAIL_UP);
        }
        if (x_scu > 0 && MCU_GET_CODED_FLAG(map_scu[scup - pic_width_in_scu - 1]))
        {
            SET_AVAIL(avail, AVAIL_UP_LE);
        }
    }
    return avail;
}

  (2) 调用com_get_nbr获取Intra预测参考像素：从重建图像中获取上边行、左边列，左上角的重建像素值，作为当前帧内预测参考像素。如下图所示：

图2、Intra预测参考像素获取过程示意图 
void com_get_nbr(int x, int y, int width, int height, pel *src, int s_src, u16 avail_cu, pel nb[N_C][N_REF][MAX_CU_SIZE * 3], int scup, u32 * map_scu, int pic_width_in_scu, int pic_height_in_scu, int bit_depth, int ch_type)
{
    int  i;
    int  width_in_scu  = (ch_type == Y_C) ? (width >> MIN_CU_LOG2)  : (width >> (MIN_CU_LOG2 - 1));
    int  height_in_scu = (ch_type == Y_C) ? (height >> MIN_CU_LOG2) : (height >> (MIN_CU_LOG2 - 1));
    int  unit_size = (ch_type == Y_C) ? MIN_CU_SIZE : (MIN_CU_SIZE >> 1);
    int  x_scu = PEL2SCU(ch_type == Y_C ? x : x << 1);
    int  y_scu = PEL2SCU(ch_type == Y_C ? y : y << 1);
    pel *const src_bak = src;
    pel *left = nb[ch_type][0] + STNUM;
    pel *up   = nb[ch_type][1] + STNUM;
    int pad_le = height;  //number of padding pixel in the left column
    int pad_up = width;   //number of padding pixel in the upper row
    int pad_le_in_scu = height_in_scu;
    int pad_up_in_scu = width_in_scu;
    
    *首先，设置左边参考列和上边参考行的值 = 1 << (bit_depth - 1)
    com_mset_16b(left - STNUM, 1 << (bit_depth - 1), height + pad_le + STNUM);
    com_mset_16b(up   - STNUM, 1 << (bit_depth - 1), width  + pad_up + STNUM);
    if(IS_AVAIL(avail_cu, AVAIL_UP))
    {
        com_mcpy(up, src - s_src, width * sizeof(pel));  *从重建图像中拷贝上边行的参考像素
        for(i = 0; i < pad_up_in_scu; i++)  *以SCU为单位继续往右看获取右上行参考像素
        {
            if(x_scu + width_in_scu + i < pic_width_in_scu && MCU_GET_CODED_FLAG(map_scu[scup - pic_width_in_scu + width_in_scu + i]))
            {  *右上行的像素在图像内部，且已经重建，则拷贝右上的参考像素
                com_mcpy(up + width + i * unit_size, src - s_src + width + i * unit_size, unit_size * sizeof(pel));
            }
            else
            {  *当前右上SCU没有重建像素，则将当前位置左边像素值复制到右边
                com_mset_16b(up + width + i * unit_size, up[width + i * unit_size - 1], unit_size);
            }
        }
    }

    if(IS_AVAIL(avail_cu, AVAIL_LE))
    {
        src--;
        for(i = 0; i < height; ++i)  *拷贝左边列重建像素值到left[]
        {
            left[i] = *src;
            src += s_src;
        }
        for(i = 0; i < pad_le_in_scu; i++) *以SCU为单位继续往下看获取左下列参考像素
        {
            if(y_scu + height_in_scu + i < pic_height_in_scu && MCU_GET_CODED_FLAG(map_scu[scup - 1 + (height_in_scu + i) *pic_width_in_scu]))
            {
                int j;
                for(j = 0; j < unit_size; ++j)
                {
                    left[height + i * unit_size + j] = *src;
                    src += s_src;
                }
            }
            else
            {
                com_mset_16b(left + height + i * unit_size, left[height + i * unit_size - 1], unit_size);
                src += (s_src * unit_size);
            }
        }
    }

    if (IS_AVAIL(avail_cu, AVAIL_UP_LE))  *拷贝左上角重建像素值
    {
        up[-1] = left[-1] = src_bak[-s_src - 1];
    }
    else if (IS_AVAIL(avail_cu, AVAIL_UP))
    {
        up[-1] = left[-1] = up[0];
    }
    else if (IS_AVAIL(avail_cu, AVAIL_LE))
    {
        up[-1] = left[-1] = left[0];
    }

    up[-2] = left[0];
    left[-2] = up[0];
    up[-3] = left[1];
    left[-3] = up[1];
#if IIP
    if (STNUM > 3)
    {
        up[-4] = left[2];
        left[-4] = up[2];
        up[-5] = left[3];
        left[-5] = up[3];
    }
#endif
}

  (3) 调用com_get_mpm获取 mpm。

void com_get_mpm(int x_scu, int y_scu, u32 *map_scu, s8 *map_ipm, int scup, int pic_width_in_scu, u8 mpm[2])
{
    u8 ipm_l = IPD_DC, ipm_u = IPD_DC;
    int valid_l = 0, valid_u = 0;

    if(x_scu > 0 && MCU_GET_INTRA_FLAG(map_scu[scup - 1]) && MCU_GET_CODED_FLAG(map_scu[scup - 1]))
    {
        ipm_l = map_ipm[scup - 1];
        valid_l = 1;
    }

    if(y_scu > 0 && MCU_GET_INTRA_FLAG(map_scu[scup - pic_width_in_scu]) && MCU_GET_CODED_FLAG(map_scu[scup - pic_width_in_scu]))
    {
        ipm_u = map_ipm[scup - pic_width_in_scu];
        valid_u = 1;
    }
    mpm[0] = COM_MIN(ipm_l, ipm_u);
    mpm[1] = COM_MAX(ipm_l, ipm_u);
    if(mpm[0] == mpm[1])
    {
        mpm[0] = IPD_DC;
        mpm[1] = (mpm[1] == IPD_DC) ? IPD_BI : mpm[1];
    }
}

  (4) 按照Intra预测公式，对各个预测方向生成预测平面。

Patch边界对Intra预测的影响

  在HPM中，当下一个LCU在新的Patch当中时，会将map_cu数组中的信息清除。这样，在patch边界的LCU，他访问的相邻SCU在其他Patch中时，CODED_FLAG为uncoded，拿不到预测值。

  com_mset_x64a(ctx->map.map_scu, 0, sizeof(u32)* ctx->info.f_scu);  // 将整幅图像的map_scu清零。

  代码如下所示：

        ......
        编完一个LCU后，进行下一步处理：
        core->x_lcu++;
#if PATCH
        patch_cur_index = patch->idx;
        if (core->x_lcu >= *(patch->width_in_lcu + patch->x_pat) + patch_cur_lcu_x)
        {
            core->x_lcu = patch_cur_lcu_x;
            core->y_lcu++;
            if (core->y_lcu >= *(patch->height_in_lcu + patch->y_pat) + patch_cur_lcu_y)
            {
                新的Patch开始了(a new patch starts)
                core->cnt_hmvp_cands = 0;
                ......
                enc_eco_slice_end_flag(bs, 1);
                enc_sbac_finish(bs, 0);
                /*update and store map_scu*/
                en_copy_lcu_scu(map_scu_temp, ctx->map.map_scu, map_refi_temp, ctx->map.map_refi, map_mv_temp, ctx->map.map_mv, map_cu_mode_temp, ctx->map.map_cu_mode, ctx->patch, ctx->info.pic_width, ctx->info.pic_height);
                com_mset_x64a(ctx->map.map_scu, 0, sizeof(u32)* ctx->info.f_scu);   重置map_scu中的所有flag
                com_mset_x64a(ctx->map.map_refi, -1, sizeof(s8)* ctx->info.f_scu * REFP_NUM);
                com_mset_x64a(ctx->map.map_mv, 0, sizeof(s16)* ctx->info.f_scu * REFP_NUM * MV_D);
                com_mset_x64a(ctx->map.map_cu_mode, 0, sizeof(u32) * ctx->info.f_scu);
                /*set patch head*/
                if( patch_cur_index + 1 < num_of_patch )
                {
                    set_sh( ctx, shext, patch_sao_enable + (patch_cur_index + 1)*N_C );
                }
                /* initialize entropy coder */
                enc_sbac_init(bs);
                com_sbac_ctx_init(&(GET_SBAC_ENC(bs)->ctx));
                com_sbac_ctx_init(&(core->s_curr_best[ctx->info.log2_max_cuwh - 2][ctx->info.log2_max_cuwh - 2].ctx));
                ......

版权声明：本文为博主原创文章，未经博主允许请勿转载。

ITRonnie
关注
  • 4
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
HEVC编码之Intra/Inter预测分析
weixin_34375233的博客
09-25 785
2019独角兽企业重金招聘Python工程师标准>>> ...
播放器MPC-hc 1.9.19支持AVS2及AVS3 10位视频(原始及TS与MKV封装）_Win64
09-22
最新版及源码: :https://gitee.com/zhengtianbo/cavs-avs2-avs3_decoder_added_to_mpc_hc/releases ffmpeg编码器:...avs2/avs3测试视频:https://gitee.com/zhengtianbo/avs2_avs3_test_video
AVS3核心码流结构解析
01-10
包含uavs3e_structure.png、uavs3e_structure.xmind、coding_unit_tree.c、coding_unit.c、block.c五个文件。 前两个文件是AVS3码流结构思维导图，后三个文件是AVS3中的核心码流结构（C语言描述，带注释），原始代码来源于AVS3标准草案（FCD 2.0）。 相应博客：https://blog.csdn.net/leelitian3/article/details/112445617
【视频编码学习】AVS3参考软件HPM-4.1简单配置运行
谦虚勤奋诚实感恩
10-24 2541
1、用Visual Studio2017打开HPM-4.1文件夹 2、找到文件夹目录下x86_windows文件夹，因为是在win上运行该代码 3、然后找到对应vs版本（我当时2017版）的解决方案sln文件，双击打开可以看到该解决方案下的全部项目。 4、重新生成解决方案时发现提示sdk版本问题，所以右键点击所有的项目，选择重定向项目，修改一下sdk版本。 ...
AVS3代码学习1：HPM6.0框架
时间有泪
05-12 3279
文章目录0 运行程序1 上层函数2 帧内预测3 变换量化4 环路滤波5 熵编码 0 运行程序 1 上层函数 1、app_encoder.c文件下的main()函数; 2、enc.c文件下的enc_pic()函数; 3、enc_mode.c文件下的enc_mode_analyze_lcu()函数; 4、enc_mode.c文件下的mode_coding_tree()函数; 5、enc_mode.c文...
AVS3帧内预测
最新发布
Dillon2015的博客
11-01 1万+
30种角度模式的分布范围为[-157.5°，60°]，模式3到11仅使用上方参考像素，模式25到32仅使用左侧参考像素，模式13到23同时使用上方和左侧参考像素。AVS1支持8种角度模式，如图1(a)，对于不同尺寸块使用的角度模式不同，对于4x4的intra块支持所有角度模式，对于8x8的块只能使用水平、垂直和对角线模式，对于8x8的intra块的亮度和色度分量还分别额外支持DC模式和plane模式。对于帧内模式的编码，AVS1采用MPM，MPM内有2个候选项，来自上方和左侧相邻块。
AVS3代码阅读HPM4.0
CRR的博客
12-13 2433
参考AVS3代码阅读（HPM6.0）（一.整体架构以及CU划分部分代码） 版本：HPM4.0 核心文件：app_encoder.c   要做的是帧间预测，所以前面的函数先暂时不管了，挖个坑以后再填。直接从enc_pic看起。 enc_pic()    ...
AVS3代码阅读（HPM6.0）（一.整体架构以及CU划分部分代码）
曹健的博客
02-04 3131
AVS3代码阅读（HPM6.0）（一.整体架构以及CU划分部分代码）
LAVFilters0.76支持国标AVS3及AVS2 10位)解码(原始,TS及MKV封装）_Win64
09-22
源码及下载:https://gitee.com/zhengtianbo/LAVFilters-GB-CAVS-AVS2-AVS3-decoder/releases mpc-hc播放器https://gitee.com/zhengtianbo/cavs-avs2-avs3_decoder_added_to_mpc_hc/releases avs2/avs3测试视频:...
avs3编码器_avs3_
09-28
AVS3离线编码器，支持帧级并行和lcu并行编码。
结合梯度结构相似度的AVS帧内模式选择算法
06-20
结合帧内模式选择主客观评价方法,提出了一种新的帧内模式选择算法,提高了主观质量,同时兼顾了算法处理效率。传统AVS帧内模式选择率失真优化使用绝对误差和(SAD)作为失真度度量,方法简单,但不能很好符合人眼视觉系统(HVS);基于梯度幅度值的结构相似度图像质量评价方法(GSIM)符合HVS的特性,且能评价严重模糊的降质图像,但计算复杂,不利于实时编码。本算法结合SAD和GSIM的优点,采用两者的结合作为失真度度量,并利用预测模式间的相关性进行帧内预测模式选择。取SAD的最优值和次优值,计算其差值,根据差值和阈值的比较判断是否需要GSIM计算,其中阈值的选择根据预测模式间相关性自适应确定。需要计算GSIM值时,根据GSIM的最优值和次优值的情况判断是否需要对帧内模式进行修正。实验结果表明,本算法较传统算法有较好的主观质量,编码时间增加很少。
AVS.rar_AVS_AVS-Decoder-SDK_avc_avc source code
09-23
总结来说，"AVS.rar_AVS_AVS-Decoder-SDK_avc_avc source code"是一个针对AVS解码器和AVC源代码的学习资源，适合对视频编解码感兴趣的开发者深入研究，通过实践和理解这些代码，可以增强在视频处理领域的专业技能。
avs3_realtime_encoder_avs3_
10-03
3. `uAVS3lib.vcxproj.filters`、`utest.vcxproj.filters`、`utest_gop.vcxproj.filters`：这些都是Visual Studio项目过滤器文件，用于组织源代码文件在解决方案资源管理器中的显示，便于开发和构建过程。...
AVS3参考软件HPM找不到win10 SDK解决方法
慢慢积累
09-05 852
生成HPM时报错： 上网搜了都是让装对应版本的win10 SDK，实际不需要，只需要重定向即可： 该方法确认可用，不知道是否适用于其他找不到win10 SDK的情况。 ...
AVS3代码阅读（HPM6.0）（二. IBC帧内块复制部分代码）
曹健的博客
02-06 1573
AVS3代码阅读（HPM6.0）（二. IBC帧内块复制部分代码） 内含IBC以及2019.12月采纳的BVP、修改的ABVR的内容
AVS3中的patch(片)
RonnieLiGe的专栏
03-29 805
对比AVS3和AVS2标准，我们发现AVS2中的slice语法结构在AVS3中被替换为patch。
【Codecs系列】AVS3关键技术、性能和复杂度分析
CSDN明星博主，认证博客专家，视频、Matlab领域优质创作者。
10-12 1097
AVS3关键技术、性能和复杂度分析 https://blog.csdn.net/vn9PLgZvnPs1522s82g/article/details/98810506
AVS之HPM3.2代码学习笔记1：TSCPM技术的原理和代码实现
Peter_Red_Boy的博客
05-20 3037
最近实验室要跟进AVS会议了，我先看了一下和VVC中相同的技术，帧内预测中的CCLM，在AVS中名字换成了TSCPM，可能是因为专利的冲突，因此才换名字的。实则换汤不换药~ AVS是国内的数字音视频编解码技术标准工作组 参照国际视频标准会议H.266/VVC 目前AVS的参考软件是HPM3.2版本，TSCPM是其中帧内色度预测模式的一种，和VVC的最新参考软件版本VTM5.0中的CCLM一模一样，...
浅压缩编码方式描述文档
08-29
本文档详细介绍了AVS工作组在制定浅压缩编码标准过程中所使用的一种参考软件平台——High-speed Interface Model (HIM) 4.0。HIM被设计用来探索和评估潜在的编码算法，以及公平比较新的编码技术。它对应于AVS浅压缩...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ITRonnie

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值