x264 encode

http://www.cnblogs.com/chuncn/archive/2011/02/25/1459805.html

（1）       x264_param_default( x264_param_t *param ) 

作用： 对编码器进行参数设定

cqm:量化表相关信息

                 csp：          

                 量化表相关信息里的memset( param->cqm_4iy, 16, 16 );

                                    memset( param->cqm_4ic, 16, 16 );

                                    memset( param->cqm_4py, 16, 16 );

                                    memset( param->cqm_4pc, 16, 16 );

                                    memset( param->cqm_8iy, 16, 64 );

                                    memset( param->cqm_8py, 16, 64 );

（2）static int  Parse( int argc, char **argv, x264_param_t *param, cli_opt_t *opt ) 初始化

1．   getopt_long(nargc, nargv, options, long_options, idx) 得到入口地址的向量与方式的选则

2．   getopt_internal(nargc, nargv, options)     解析入口地址向量

（3） static int  Encode( x264_param_t *param, cli_opt_t *opt )

/* Create a copy of param */ h->param=param

/* VUI */vui信息主要包括帧率、图像尺寸等信息

/* Init x264_t */

x264_sps_init( h->sps, 0, &h->param );序列图像集

x264_pps_init( h->pps, 0, &h->param, h->sps);图像参数集

/* Init frames. */     初始化并开辟帧空间

/* init mb cache */   对前一宏块的信息保存，因为是初始化，所以作为第一个宏块的参考，后面会有x264_macroblock_cache_load( h, i_mb_x, i_mb_y );它是将要编码的宏块的周围的宏块的值读进来, 要想得到当前块的预测值，要先知道上面，左面的预测值

/* init cabac adaptive model */

/* init CPU functions */  初始化cpu对各种分块的参数设定

/* rate control */

        1． x264_t *x264_encoder_open   ( x264_param_t *param ) 这个函数是对不正确的参数进行修改,并对各结构体参数和cabac编码,预测等需要的参数进行初始化

        2、p_read_frame( &pic, opt->hin, i_frame + opt->i_seek, param->i_width, param->i_height )

 

 读取一帧，并把这帧设为prev

 

3. i_file += Encode_frame( h, opt->hout, &pic );进入核心码层

 

核心编码层的总流程图：（x264.c）

 

1．         x264_encoder_encode( h, &nal, &i_nal, pic, &pic_out )对帧进行编码

 

2．         i_size = x264_nal_encode( data, &i_data, 1, &nal[i] ) 网络打包编码

 

3．         i_file += p_write_nalu( hout, data, i_size ) 把网络包写入到输出文件中去

 

4．         返回，对下一帧进行编码

  下面一页是详细的流程图：

一．帧内详细流程图：

 

（1）．           x264_encoder_encode( h, &nal, &i_nal, pic, &pic_out )对帧进行编码

 

1．    /* 1: Copy the picture to a frame and move it to a buffer */

 

    x264_frame_t*fenc=x264_frame_get( h->frames.unused );

 

x264_frame_copy_picture( h, fenc, pic_in );

 

fenc->i_frame = h->frames.i_input++;

 

x264_frame_put( h->frames.next, fenc );

 

x264_frame_init_lowres( h->param.cpu, fenc );//里面包含低象素的扩展,很多for循环，应该是抽头计算和半精度象素的扩展，要认真看

 

（2）．            264_slicetype_decide( h );对slice类型的判定，里面也要看一下

 

（3）．            while( IS_X264_TYPE_B( h->frames.next[bframes]->i_type ) )

bframes++;

x264_frame_put(h->frames.current,x264_frame_get( &h->frames.next[bframes] ) );这主要是因为B帧必须等后面的非B帧编码结束后才能编码，所以把暂时不编的一系列B帧存入队列中，一直到非B帧才取出进行编码，之后再进行前面的B帧编码

do_encode:

（4）．            建立list0 & list1.我感觉

       x264_reference_build_list( h, h->fdec->i_poc, i_slice_type );

      比特率控制初始化

x264_ratecontrol_start(h, i_slice_type, h->fenc->i_qpplus1 );

（5）．   创建slice的头部数据

x264_slice_init( h, i_nal_type, i_slice_type, i_global_qp );

（6）     i_frame_size = x264_slices_write( h );这是编码的关键了

1.      x264_slice_header_write(&h->out.bs,&h->sh,h->i_nal_ref_idc ); /* Slice header */

2.      一些初始化工作

3.      for(mb_xy=h->sh.i_first_mb, i_skip = 0; mb_xy < h->sh.i_last_mb; mb_xy++ )对一个slice中每个宏块进行循环遍历编码，其中const int i_mb_y = mb_xy / h->sps->i_mb_width;和const int i_mb_x = mb_xy % h->sps->i_mb_width;是对宏块位置在slice中的x,y坐标的定位，这个for语句几乎覆盖了整个x264_slices_write（）函数

4.      x264_macroblock_cache_load( h, i_mb_x, i_mb_y ); 它是将要编码的宏块的周围的宏块的值读进来, 要想得到当前块的预测值，要先知道上面，左面的预测值！

5.      *****x264_macroblock_analyse( h );重点。通过一系列的SAD算出最优化方案，例如把I帧16×16的宏块分成16个4×4分别计算SAD和与原16×16SAD比较我感觉，在下面一层再详细分析。

a.   x264_mb_analyse_intra( h, &analysis, COST_MAX );我感觉是在一个16×16的SAD,4个8×8的SAD和，16个4×4SAD和中选出最优方式进行，可能我的理解不对，里面的x264_mb_encode_i4x4( h, idx, a->i_qp );i8×8几个函数的跟踪有问题，跟得我都找不到，要仔细看（现在又能跟到了）

 

这边好像如果是直流分量在这里就进行量化ZIGZAG扫描了，不用等到x264_macroblock_encode( h )再完成了

 

b.   x264_analyse_update_cache( h, &analysis ); 有对色度块的模式选择的计算，好像也有更新信息以为下次的预测作为参考

 

6.      x264_macroblock_encode( h );

 

a.   判断宏块的类型

 

b.   根据判断的类型进行DCT，量化，ZIGZAG,并记录当前的模式为下次编码宏块（亚宏块）做参考

 

ZIGZAG的实现不明白（原来ZIGZAG有宏定义，在上面，现在明白了），反量化和IDCT的过程跟不进去，应该是汇编了！函数如下：（ I 4×4 中 x264_mb_encode_i4x4( h, i, i_qp );）

 

x264_mb_dequant_4x4( dct4x4, h->dequant4_mf[CQM_4IY], i_qscale );

 

h->dctf.add4x4_idct( p_dst, i_stride, dct4x4 );

 

还有，这个函数跟踪不进去，应该是重构图像的反变换吧

 

h->dctf.add4x4_idct( p_dst, i_stride, dct4x4 );

 

h->mb.cache.intra4x4_pred_mode[x264_scan8[i]]=x264_mb_pred_mode4x4_fix(i_mode);这个值到底是怎么根据前面的模式改变的，可能是上面两个函数没能更进去所以模糊

 

c.    对色度块进行编码，QP限制在0－51之间，选定预测模式（DC的话值全为128）

 

x264_mb_encode_8x8_chroma( h, !IS_INTRA( h->mb.i_type ), i_qp );里面对两个色度信号分别编码，与亮度信号类似

 

d.   求亮度和色度的cbp，完全不明白是怎么求的，需要解决！现在有点明白，每个比特代表子块是不是全为0，但还没有全部明白，色度块cbp中0x02表示有AC,DC 0x01表示只有DC，

 

e．利用CBP判断要不要SKIP.,里面还关系到向量预测，明天好好看一下。  其中

 

h->mb.qp[h->mb.i_mb_xy] = h->mb.i_last_qp;这个为读下一个     qp的保存，不然解码端是读不出下一个  qp的,

 

关于CBP的理解还存在问题，他的8位比特各个代表的意思还不是十分明确，反正是对DC,AC的编码的选择。185页有介绍（新一代视频压缩标准毕厚杰）

 

7.      选用CABAC还是CAVLC

 

CABAC的原理实现没仔细看

 

8.     x264_macroblock_cache_save( h );保存以为下次的预测作为参考

 

9.     一些收尾工作，为下次宏块作准备（看的比较粗）

===============================================================================

http://golang.usr.cc/archiver/tid-52674.html

x264 编码流程

Main函数中包含三个函数：Init，Encode，Fini，分别用来初始化，编码和编码后内存处理。
Init：
（1）X264_param_default: 参数初始化，包括：CPU，视频参数，编码参数，码率控制参数，日志，分析参数和量化参数等。需要注意的是：
param->rc.i_qp_constant = 26;  //量化步长；
param->b_cabac=0;//   关闭CABAC编码；
param->analyse.i_me_method = X264_ME_DIA; // 菱形搜索
（2）x264_encode_open: 对不正确的参数进行修改，并对各结构体的参数和预测等需要的参数进行初始化。
        x264_validate_parameters参数有效性检验
         1. x264_cpu_num_processors：根据不同的系统确定使用的CPU个数
         2. x264_clip3：取三者之间的最大值

        

Fini：
x264_picture_clean：释放一副图像所占内存
x264_encoder_close：计算每个宏块的数量和其对应的PSNR值，删除一些关键数据（包括帧的有关信息，量化矩阵和码率控制信息）
/*率失真理论：对有损压缩编码下的失真和编码性能之间的关系
码率控制方法：利用半精度的SATD（sum of absolute transformed differrence）作为模式选择的依据。SATD是将残差经哈达曼变换4*4块的预测残差绝对值总和*/
Encode：
fseek:重定位文件流上的内部位置指针
fread：从文件流中读数据

x264_encoder_encode：

编码时，维持着三个队列：frame_next队列（临时缓存，帧类型没确定，待编码的帧队列），frame_current队列（按编码顺序排放，已经确定了帧的类型，正在编码的帧队列）和frame_unused队列（空白队列，将要编码的帧放入该队列）。

   1.x264_reference_update：（更新参考帧队列，若为B帧则不更新）将上一个参考帧放入参考帧队列，并从空闲队列中取出一帧作为当前参考工作帧；

  2.x264_frame_pop_unused：（获取一帧的空间fenc，用来存放待编码的帧）若unused队列不为空，则将取出的帧放入unused队列（x264_frame_pop），否则，分配一帧空间（x264_frame_new）；
   3. x264_frame_copy_picture：将该帧图像拷贝到fenc中
   4.判断是否需要进行边界扩展（x264_frame_expand_border_mod16），不能被16整除的都需要进行扩展。
   5.将fenc放入frame_next中（x264_frame_push）
  6.如果用到半精度亮度块，需要进行1/2像素扩展（x264_frame_init_lowres）
   7.若frame.current==NULL（当前队列中没有帧需要编码）
       I．若frame.next==NULL，结束编码（x264_encoder_frame_end）
       II. 判断帧类型（x264_slicetype_decide）
       III．将帧类型确定的帧重新排列存放在frame.current队列中
   8. 调整当前队列中帧的顺序，开始编码
  9.对编码之后的nal封装成NAL单元（x264_nal_encode）；
   10.将NALU单元写入输出文件（p_write_nalu）
do_encode:
（1）.        根据帧类型设置NAL的类型和优先级，若是IDR帧，则清空所有参考帧（x264_reference_reset）。
（2）.        初始化参考队列（x264_reference_build_list），list0 前向参考队列，P帧参考；list1，后向参考队列（B帧参考list0和list1）
（3）.        码率控制初始化（x264_ratecontrol_start），得到该帧所使用的量化步长QP（x264_ratecontrol_qp）
（4）.        创建片头数据（x264_slice_init）
（5）.        初始化比特流（bs_init）
（6）.        当前帧为IDR帧时，NAL单元更新SPS（x264_sps_write）和PPS（x264_pps_write）
（7）.        写片操作，返回编完一帧之后的比特流（x264_slices_write）
（8）.        恢复CPU状态（x264_cpu_restore）
（9）.        若帧类型是P帧，分别计算帧内编码开销和帧间编码开销，若帧间>帧内，则将P帧重新按I帧进行编码（若图片组的大小>=最小关键帧的个数，则按IDR帧编码）。
（10）.        编码结束（x264_encoder_frame_end）
x264_slices_write：
1. 帧内帧间编码（x264_slice_write）
   2. 去块滤波（x264_fdec_filter_row）
x264_slice_write：
1.        初始化当前帧的状态
2.        当前进行的是帧编码，因此NAL单元携带的是一个编码片，一个NAL单元应由一组对应于视频编码的头信息和一个压缩编码后的视频数据序列。 写当前NAL单元的头信息（x264_nal_start）
3.        写片头信息（x264_slice_header_write），包括：片中第一宏块的地址，片的类型，参考帧索引及一些帧编码模式的选择
4.        循环对每个宏块进行编码：
         I．        先获得宏块的位置坐标（i_mb_x,i_mb_y），若i_mb_x为0，则进行去块滤波；
         II．        将当前宏块的上和左边的宏块加载进来存入数组（x264_macroblock_cache_load）。
         III．        对宏块进行分析（x264_macroblock_analyse），通过计算SAD值，决定宏块预测类型
                  A．        I帧：只使用帧内预测，分别计算亮度16x16（4种）和4x4（9种）色度8x8（3种）所有模式的代价值，选                              出SAT值最小的模式
                  B．        P帧：计算帧内模式（同A）和帧间模式。帧间预测：对P帧的每一种分割进行帧间预测，得到最佳的运动矢量及最佳匹配块。过程：寻找当前块的后续矢量——>选出最佳矢量——>找到最佳的整像素点——>找到最佳的二分之一像素点——>找到最佳的1/4像素点，取代码最小的为最佳MV和分割方式。最后从帧内模式和帧间模式中选择小者。
          IV．        对宏块进行编码
                  A、        帧内预测模式时，用所选的预测模式对宏块中的像素值进行预测，若当前块是第一块，则预测值为128
                  B、        帧间预测模式，用所选的运动矢量进行运动补偿得到宏块的预测值。对残差矩阵进行变换量化，扫描和CAVLC熵编码。
           V. 将CAVLC编码结果写入h->out.bs（x264_macroblock_write_cavlc）；保存宏块信息（x264_macroblock_cache_save）；通过调整QP进行码率控制；RBSP比特填充（bs_rbsp_trailing），一次nal编码结束，指向下一个nal（x264_nal_end）；