H264-解码顺序 显示顺序 参考顺序

最新推荐文章于 2024-05-16 07:25:37 发布
最新推荐文章于 2024-05-16 07:25:37 发布
阅读量2.1k 收藏 11
点赞数
分类专栏： H264&H265 文章标签： h.264
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dongkun152/article/details/108520955
版权

H264-解码顺序 显示顺序 参考顺序

解码参考帧标记过程

当一个解码图像的nal_ref_idc 不为0时，这个解码图像会被当做参考图像，即会被用作长参考帧或者段参考帧。
IDR帧
长参考帧技术
DPB解码图像缓冲区，片被解码后生成的数据保存在DPB中。DPB中的图像数据可用于后边图像编码时的帧间预测，或者输出到显示。
在这里插入图片描述
在这里插入图片描述

解码顺序

片头的frame_num参数决定了图像的解码顺序。frame_num 以解码顺序增加，不需要表示显示顺序。
IDR: 立即刷新帧，frame_num 要清零
其他： 从之前的参考帧开始逐次加一

显示顺序

Picture Order Count决定了解码图像的播放顺序。从IDR图像的第一场POC=0开始。
POC可以从片头中以可选的三种方式推导出来。POC推导为TopfiledOrderCount 顶场顺序和BottomfieldOrderCount底场顺序。

方式:0：在片头中直接发送POC

TopFieldOrderCount = POCMsb + POCLsb
POClsb 在每个片头发送
POCMsb加一，每当POCLsb达到它的最大值时。
在这里插入图片描述
如上表中，Access unit 表示接收到的顺序，frame_num 在每遇到一个参考帧时加一。POC_lsb在每个片头发送，顶场顺序等于POC_lsb，显示顺序是顶场顺序右移一位。
frame_num 的限制

  • 如果当前帧为IDR 帧，PrevRefFrameNum = 0
  • 否则，PrevRefFrameNum的推导如下：

方式1：在序列参数集中设置需要的增量，只发送一个delta值如果这个增量需要变化时

这种方式中的变量计算参考标准中的8.2.1.2

方式2：显示顺序等于解码顺序

POC从frame_num中推导得到。参考标准中的8.2.1.3

void decode_poc(VideoParameters *p_Vid, Slice *pSlice)
{
  seq_parameter_set_rbsp_t *active_sps = p_Vid->active_sps;
  int i;
  // for POC mode 0:
  unsigned int MaxPicOrderCntLsb = (1<<(active_sps->log2_max_pic_order_cnt_lsb_minus4+4));

  switch ( active_sps->pic_order_cnt_type )
  {
  case 0: // POC MODE 0
    // 1st
    if(pSlice->idr_flag)
    {
     当为i帧时
      p_Vid->PrevPicOrderCntMsb = 0;
      p_Vid->PrevPicOrderCntLsb = 0;
    }
    else
    {
      if (p_Vid->last_has_mmco_5)
      {
        if (p_Vid->last_pic_bottom_field)
        {
          p_Vid->PrevPicOrderCntMsb = 0;
          p_Vid->PrevPicOrderCntLsb = 0;
        }
        else
        {
          p_Vid->PrevPicOrderCntMsb = 0;
          p_Vid->PrevPicOrderCntLsb = pSlice->toppoc;
        }
      }
    }
    // Calculate the MSBs of current picture
    if( pSlice->pic_order_cnt_lsb  <  p_Vid->PrevPicOrderCntLsb  &&
      ( p_Vid->PrevPicOrderCntLsb - pSlice->pic_order_cnt_lsb )  >=  ( MaxPicOrderCntLsb / 2 ) )
      pSlice->PicOrderCntMsb = p_Vid->PrevPicOrderCntMsb + MaxPicOrderCntLsb;
    else if ( pSlice->pic_order_cnt_lsb  >  p_Vid->PrevPicOrderCntLsb  &&
      ( pSlice->pic_order_cnt_lsb - p_Vid->PrevPicOrderCntLsb )  >  ( MaxPicOrderCntLsb / 2 ) )
      pSlice->PicOrderCntMsb = p_Vid->PrevPicOrderCntMsb - MaxPicOrderCntLsb;
    else
      pSlice->PicOrderCntMsb = p_Vid->PrevPicOrderCntMsb;

    // 2nd

    if(pSlice->field_pic_flag==0)
    {           //frame pix
      pSlice->toppoc = pSlice->PicOrderCntMsb + pSlice->pic_order_cnt_lsb;
      pSlice->bottompoc = pSlice->toppoc + pSlice->delta_pic_order_cnt_bottom;
      pSlice->ThisPOC = pSlice->framepoc = (pSlice->toppoc < pSlice->bottompoc)? pSlice->toppoc : pSlice->bottompoc; // POC200301
    }
    else if (pSlice->bottom_field_flag == FALSE)
    {  //top field
      pSlice->ThisPOC= pSlice->toppoc = pSlice->PicOrderCntMsb + pSlice->pic_order_cnt_lsb;
    }
    else
    {  //bottom field
      pSlice->ThisPOC= pSlice->bottompoc = pSlice->PicOrderCntMsb + pSlice->pic_order_cnt_lsb;
    }
    pSlice->framepoc = pSlice->ThisPOC;

    p_Vid->ThisPOC = pSlice->ThisPOC;

    //if ( pSlice->frame_num != p_Vid->PreviousFrameNum) //Seems redundant
      p_Vid->PreviousFrameNum = pSlice->frame_num;

    if(pSlice->nal_reference_idc)
    {
      p_Vid->PrevPicOrderCntLsb = pSlice->pic_order_cnt_lsb;
      p_Vid->PrevPicOrderCntMsb = pSlice->PicOrderCntMsb;
    }

    break;

  case 1: // POC MODE 1
    // 1st
    if(pSlice->idr_flag)
    {
      p_Vid->FrameNumOffset=0;     //  first pix of IDRGOP,
      if(pSlice->frame_num)
        error("frame_num not equal to zero in IDR picture", -1020);
    }
    else
    {
      if (p_Vid->last_has_mmco_5)
      {
        p_Vid->PreviousFrameNumOffset = 0;
        p_Vid->PreviousFrameNum = 0;
      }
      if (pSlice->frame_num<p_Vid->PreviousFrameNum)
      {             //not first pix of IDRGOP
        p_Vid->FrameNumOffset = p_Vid->PreviousFrameNumOffset + p_Vid->max_frame_num;
      }
      else
      {
        p_Vid->FrameNumOffset = p_Vid->PreviousFrameNumOffset;
      }
    }

    // 2nd
    if(active_sps->num_ref_frames_in_pic_order_cnt_cycle)
      pSlice->AbsFrameNum = p_Vid->FrameNumOffset+pSlice->frame_num;
    else
      pSlice->AbsFrameNum=0;
    if( (!pSlice->nal_reference_idc) && pSlice->AbsFrameNum > 0)
      pSlice->AbsFrameNum--;

    // 3rd
    p_Vid->ExpectedDeltaPerPicOrderCntCycle=0;

    if(active_sps->num_ref_frames_in_pic_order_cnt_cycle)
    for(i=0;i<(int) active_sps->num_ref_frames_in_pic_order_cnt_cycle;i++)
      p_Vid->ExpectedDeltaPerPicOrderCntCycle += active_sps->offset_for_ref_frame[i];

    if(pSlice->AbsFrameNum)
    {
      p_Vid->PicOrderCntCycleCnt = (pSlice->AbsFrameNum-1)/active_sps->num_ref_frames_in_pic_order_cnt_cycle;
      p_Vid->FrameNumInPicOrderCntCycle = (pSlice->AbsFrameNum-1)%active_sps->num_ref_frames_in_pic_order_cnt_cycle;
      p_Vid->ExpectedPicOrderCnt = p_Vid->PicOrderCntCycleCnt*p_Vid->ExpectedDeltaPerPicOrderCntCycle;
      for(i=0;i<=(int)p_Vid->FrameNumInPicOrderCntCycle;i++)
        p_Vid->ExpectedPicOrderCnt += active_sps->offset_for_ref_frame[i];
    }
    else
      p_Vid->ExpectedPicOrderCnt=0;

    if(!pSlice->nal_reference_idc)
      p_Vid->ExpectedPicOrderCnt += active_sps->offset_for_non_ref_pic;

    if(pSlice->field_pic_flag==0)
    {           //frame pix
      pSlice->toppoc = p_Vid->ExpectedPicOrderCnt + pSlice->delta_pic_order_cnt[0];
      pSlice->bottompoc = pSlice->toppoc + active_sps->offset_for_top_to_bottom_field + pSlice->delta_pic_order_cnt[1];
      pSlice->ThisPOC = pSlice->framepoc = (pSlice->toppoc < pSlice->bottompoc)? pSlice->toppoc : pSlice->bottompoc; // POC200301
    }
    else if (pSlice->bottom_field_flag == FALSE)
    {  //top field
      pSlice->ThisPOC = pSlice->toppoc = p_Vid->ExpectedPicOrderCnt + pSlice->delta_pic_order_cnt[0];
    }
    else
    {  //bottom field
      pSlice->ThisPOC = pSlice->bottompoc = p_Vid->ExpectedPicOrderCnt + active_sps->offset_for_top_to_bottom_field + pSlice->delta_pic_order_cnt[0];
    }
    pSlice->framepoc=pSlice->ThisPOC;

    p_Vid->PreviousFrameNum=pSlice->frame_num;
    p_Vid->PreviousFrameNumOffset=p_Vid->FrameNumOffset;

    break;


  case 2: // POC MODE 2
    if(pSlice->idr_flag) // IDR picture
    {
      p_Vid->FrameNumOffset=0;     //  first pix of IDRGOP,
      pSlice->ThisPOC = pSlice->framepoc = pSlice->toppoc = pSlice->bottompoc = 0;
      if(pSlice->frame_num)
        error("frame_num not equal to zero in IDR picture", -1020);
    }
    else
    {
      if (p_Vid->last_has_mmco_5)
      {
        p_Vid->PreviousFrameNum = 0;
        p_Vid->PreviousFrameNumOffset = 0;
      }
      if (pSlice->frame_num<p_Vid->PreviousFrameNum)
        p_Vid->FrameNumOffset = p_Vid->PreviousFrameNumOffset + p_Vid->max_frame_num;
      else
        p_Vid->FrameNumOffset = p_Vid->PreviousFrameNumOffset;


      pSlice->AbsFrameNum = p_Vid->FrameNumOffset+pSlice->frame_num;
      if(!pSlice->nal_reference_idc)
        pSlice->ThisPOC = (2*pSlice->AbsFrameNum - 1);
      else
        pSlice->ThisPOC = (2*pSlice->AbsFrameNum);

      if (pSlice->field_pic_flag==0)
        pSlice->toppoc = pSlice->bottompoc = pSlice->framepoc = pSlice->ThisPOC;
      else if (pSlice->bottom_field_flag == FALSE)
         pSlice->toppoc = pSlice->framepoc = pSlice->ThisPOC;
      else 
        pSlice->bottompoc = pSlice->framepoc = pSlice->ThisPOC;
    }

    p_Vid->PreviousFrameNum=pSlice->frame_num;
    p_Vid->PreviousFrameNumOffset=p_Vid->FrameNumOffset;
    break;


  default:
    //error must occurs
    assert( 1==0 );
    break;
  }
}

参考顺序

在编码和解码之前，参考帧排列在一个或者两个链表中。P帧使用单独的链表list0，B帧使用两条链表list0 和list1. 在每一个链表中，短参考帧后边是长参考帧，长参考帧按照LongPicNum升序排列。
list0(P slice)：默认顺序是以PicNum的降序排列，PicNum是frame_num模MaxFrameNum的结果
list0(B slice)：默认顺序是（1）POC(显示顺序）在当前帧之前的以POC的降序排列。（2）POC在当前帧之后的以POC的升序排列。
list1（B slice): 默认顺序是（1）POC在当前帧之后的以POC升序排列。（2）POC在当前帧之前的以POC的降序排列。

list0（P slice)

在这里插入图片描述
最初的参考帧列表是空的。当前frame num是150，解码图像缓冲区的长度是5帧，罗马数字是长参考帧号。list0的入口是最近的编码图像，是最佳的参考图像。

B帧 list

在这里插入图片描述
当前帧的POC是68，DPB中包含短参考帧60,62,70,72,78 长参考帧1,3。当前帧的poc为68.
list0的默认顺序为：62，60，70,72,78,1，3
list1的默认顺序为：70,72,78,62,60,1，3
上图中显示list0和list1从DPB中构成的过程。
按照默认顺序，list0的入口62，是当前帧前面第一个图像。list1入口是当前帧后面第一个图像。它们是最佳的B帧参考图像。
在这里插入图片描述

改变参考图像列表顺序

未完待续。。。。。

LUCKY-LIVING
关注
专栏目录
H264---帧间编码---帧间预测编码(2)：解码、显示顺序与图像管理
qq_42024067的博客
08-15 1569
H.264/AVC视频编解码技术详解 GitHub代码地 一、基本概念 nalu按照解码顺序frame_num送入解码器解码 解码后的图像按照播放顺序POC（picture_order_count）进行存储和播放 （由于B帧的存在，解码顺序和显示顺序会有差异） frame_num和POC通过slice_header传输： 某一帧图像在解码完成后，可能会被保存于解码图像缓存中，用于后续图像帧间预测的参考帧。在解码图像缓存中，用于P帧或B帧帧间编码的参考帧图像保存为一个或两个参考帧列表，列表中参考帧的顺序可
H264---参考列表----初始化、重排序、已解码图像的标记
qq_42024067的博客
08-15 2013
一、参考帧列表 在上一篇博文中我们已知，对于每一个P帧和B帧的解码都需要从解码图像缓存DPB中选择某个参考帧。DPB中的参考帧可分为短期参考帧和长期参考帧两种，分别按照PicNum和LongTermFrameIdx索引。通过这两个索引值可以在参考帧列表中获取对应的参考帧图像。 解码不同的帧类型时，参考帧列表不同。当解码一个P或SP帧时，使用一个参考帧列表RefPicList0；当解码一个B帧时，使用两个参考帧列表RefPicList0和RefPicList1。执行过程如下： 对参考帧列表进行初始化； 若r
IPB帧编码顺序（解码顺序）与显示顺序
02-24
IPB帧编码顺序（解码顺序）与显示顺序
IPB 帧的编码熟悉 解码顺序 与显示顺序
gcclife的专栏
01-18 1278
IPB帧编码顺序（解码顺序）与显示顺序 仅仅使用前一个显示的基准帧来编码的帧被称为“P帧”，同时使用前一个显示帧和未来帧作为基准帧进行编码的帧称为“B帧”。在通常的场景中，编解码器编码一个I帧，然后向前跳过几个帧，用编码I帧作为基准帧对一个未来P帧进行编码，然后跳回到I帧之后的下一个帧。编码的I帧和P帧之间的帧被编码为B帧。之后，编码器会再次跳过几个帧，使用第一个P帧作为基准帧编码另外一
解码顺序与显示顺序
yuanfen139re的专栏
04-16 1187
Frame Time Display order Stream order I 0 0 0 B 0.033 1 2 B 0.066 2 3 B 0.100 3 4 P 0.133 4 1P帧可能是最后显示的，但要在I帧之后就解，因为B不能做参考帧。
t264-src-0.14.rar_H.264_T264_t264-s_t264-src-0.14.zip_解码
09-20
5. **重建与显示**：最后，解码器将所有宏块的信息组合在一起，生成完整的视频帧，并按照时间顺序播放，形成连续的视频流。 T264解码器的实现通常涉及到复杂的算法优化和内存管理，以确保在有限的计算资源下高效...
S5PV210 H264视频解码后显示
01-14
在本文中，我们将深入探讨如何在S5PV210微处理器上实现H264视频解码并将其结果显示在液晶显示屏上。S5PV210是一款由Samsung开发的高性能ARM Cortex-A8核心的系统级芯片（SoC），常用于嵌入式设备和移动平台。H264，...
H264解码流程
mytzs123的博客
01-10 4557
H264解码过程比较复杂，这里仅简要概述大致流程 如果是非黑即白的二值图像，不压缩的情况下一个像素只需要1个bit。如果是256种状态的灰度图像，不压缩的情况下一个像素需要8bit（1字节，256种状态）。如果用256种状态标识屏幕上某种颜色的灰度，而屏幕采用三基色红绿蓝（RGB），不压缩的情况下一个像素需要占用24bit（3字节），这个就是常说的24位真彩色。 ...
264编解码流程图，可以清楚的了解编解码过程
03-24
264编解码的流程图，以图片的形式，展示了H264编解码框架，十分清晰！
h264编解码
fengzhihun7的博客
09-11 866
1、h264组成 在实际的H264数据帧中，编码器编出的首帧数据为PPS与SPS，仅接着为I帧+ p（b）帧，每帧数据就是一个NAL单元（SPS与PPS除外），帧前面带有00 00 00 01 或 00 00 01分隔符 SPS：序列参数集（00 00 00 01 67） PPS：图像参数集（00 00 00 01 68） IDR图像中的片(I帧)（00 00 00 01 65） 2、如何判断帧类型（是图像参考帧还是I、P帧、sps、pps等）？ 根据00 00 00 01之后的下一个.
H264编码解码
杰锅锅dev
03-16 1182
视频编码器 硬件层编码 信源编码器 将一帧打乱成很多的宏块 视频符合编码器 记录每个宏块的上边颜色信息和左边颜色信息，再记录一个预测方向 传输缓冲器 当接收到视频的B帧(体积小)，进行缓存，当达到足够的数量再进行输出(例如再收到一帧I帧时) 传输编码器 将接收到的数据输出成H26...
H264/AVC 参考图像管理
RRRR_ChiAn的博客
02-08 1158
264中，已编码图像存储在编码器和解码器的参考缓冲区（DPB，解码图像缓冲区），并由相应的参考图像列表list0，以供帧间宏块的运动补偿预测使用。对B片预测而言，list0包含当前图像的前面和后面两个方向的图像，并以显示测序排列。也可同时包含短期和长期参考图像，短期参考图像由帧号标定，长期参考图像由LongTermPicNum标定，保存在DPB中，直到被代替或删除。 当一幅图像在编码器被编码重建或在解码器被解码时，它存放在DPB并标定为以下中的一种：1）“非参考”，不用于进...
H.264/AVC学习-参考帧队列重排
qq_42139383的博客
11-04 2449
H264-参考帧队列重排 最近在学习h264 解码流程，结合h264spec文档和JM代码，总结下参考帧队列重排这部分内容。对应spec 中的8.2.4节 参考帧重排目的 参考帧重排的意义：由于在解码每个（P/B）MB时，都要用到参考帧的索引ref_idx_l0或ref_idx_l1。假如有个参考帧（短期参考帧或者长期参考帧）对于解码一个图像特别有用，但是这个参考帧在缺省的队列中并不位于索引值为0的位置，所以编码大的索引值需要花费多的比特。参考帧的重排序可以使这个参考帧位于索引值比较小的位置，以节省编码比特
【H.264/AVC视频编解码技术详解】二十四、帧间预测编码(2)：解码、显示顺序与图像管理
Workshop of Wenjie.Yin
03-20 3580
一、基本概念 在H.264的解码过程中，每一帧的数据按照相应的NAL Unit在码流中的顺序传入解码器进行解码。需注意的是，首先传入解码器的视频帧的NAL unit，解码完成后其对应的图像不一定会首先显示。其原因是由于B帧的存在，视频帧在输出时会进行顺序重排。视频帧的NAL Unit数据传入解码器的顺序称之为解码顺序，而解码完成后图像显示或输出的顺序称之为显示顺序。解码顺序和显示顺序的概念如下图所...
最全H264 编解码协议详解_h264编解码流程框图(1)，从入门到精通的C C++进阶学习笔记整理
最新发布
2401_84976607的博客
05-16 1006
设置片的目的是为了限制误码的扩散和传输，应使编码片相互间是独立的。某片的预测不能以其他片中的宏块为参考图像，这样某一片中的预测误差才不会传播到其他片中。在上图中，可以看到每个图像中，若干宏块（Macroblock）被排列成片。一个视频图像可编成一个或更多个片，每片包含整数个宏块 (MB)，每片至少包含一个宏块。
H.264/AVC学习-POC计算
qq_42139383的博客
04-01 2083
POC（picture order counts）用来表示解码帧显示顺序，当码流中存在B帧时，解码顺序和显示顺序不一样，视频帧显示时需要根据POC重排顺序，否则会出现跳帧、画面不连贯。 比如，对于IPBB这项顺序的视频序列，解码顺序为 I-P-B-B，但它的显示顺序为 I-B-B-P。 1.基本概念 对于H.264的码流，需要计算POC包括三种：coded frame（编码帧）, coded field（编码场）和complementary field pair（互补参考场对），每种类型的POC都由 Top
网络安全基础--浏览器解码顺序
qq_28591037的博客
01-03 652
当我们在进行XSS测试时，由于服务端进行了过滤等操作，有时候可以尝试通过编码转义的方式进行绕过，常见的方法有URL编码、HTML编码、js转义等。使用编码转义之前，我们首先需要了解浏览器的解码顺序。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值