35、帧内预测参考数据的获取和滤波处理

帧内预测的参考像素值的获取在标准文档的8.4.4.2.2中指明。

举例说明，当前demo中，我们用来单步调试的第一个CU为64×64像素大小，那么参考像素由两部分组成，一部分包含2×64+1=129个，另一部分包含2×64=128个像素。这两部分分别作为垂直和水平方向上的预测数据。在编码的过程中，根据预测数据是否可得，共分为两种情况：

第一种：所有的预测数据都不可得。最直观的情况就是一帧数据中的第一个CU，该CU左侧和上方的数据都不存在，如下图所示。此时所有的预测数据都会制定一个默认值，计算方法为：1 << (bitDepth - 1)；（图中的格子数只是示意图，不代表CU的像素大小和参考像素的个数）。

第二种：至少有一个像素点是可获得的，如下图所示。如果参考数据中的第一个点是不可获得的，那么将沿着当前CU的边缘，先从下到上，后从左到右查找第一个可获得的参考点并赋给第一个点；对于其他的点，如果不可得，那么就直接复制它前面一个参考点的值。如果所有点都是可获得的，那么参考数据直接使用该值就可以了。

基本算法已经明了，接下来研究一下HM中的实现。代码如下：

[cpp] view plain copy

1. Void TComPattern::fillReferenceSamples(Int bitDepth, Pel* piRoiOrigin, Int* piAdiTemp, Bool* bNeighborFlags, Int iNumIntraNeighbor, Int iUnitSize, Int iNumUnitsInCu, Int iTotalUnits, UInt uiCuWidth, UInt uiCuHeight, UInt uiWidth, UInt uiHeight, Int iPicStride, Bool bLMmode )  
2. {  
3.   Pel* piRoiTemp;  
4.   Int  i, j;  
5.   Int  iDCValue = 1 << (bitDepth - 1);  
6.   
7.   if (iNumIntraNeighbor == 0)//所欲参考点均不可得，按照DC模式设置参考点  
8.   {  
9.     // Fill border with DC value  
10.     for (i=0; i<uiWidth; i++)  
11.     {  
12.       piAdiTemp[i] = iDCValue;//<span style="font-family: Arial, Helvetica, sans-serif;">piAdiTemp指向数据接收内存，保存了实际的参考像素数组的地址；</span>  
13.     }  
14.     for (i=1; i<uiHeight; i++)  
15.     {  
16.       piAdiTemp[i*uiWidth] = iDCValue;  
17.     }  
18.   }  
19.   else if (iNumIntraNeighbor == iTotalUnits)//所有参考点都可获得，直接设为当前CU的参考值  
20.   {  
21.     // Fill top-left border with rec. samples  
22.     piRoiTemp = piRoiOrigin - iPicStride - 1;//左上角边界，其实就是CU左上角的一个点  
23.     piAdiTemp[0] = piRoiTemp[0];  
24.   
25.     // Fill left border with rec. samples  
26.     piRoiTemp = piRoiOrigin - 1;//当前CU左上顶点的左边像素  
27.   
28.     if (bLMmode)  
29.     {  
30.       piRoiTemp --; // move to the second left column  
31.     }  
32.   
33.     for (i=0; i<uiCuHeight; i++)//将左列的像素设为参考像素  
34.     {  
35.       piAdiTemp[(1+i)*uiWidth] = piRoiTemp[0];  
36.       piRoiTemp += iPicStride;  
37.     }  
38.   
39.     // Fill below left border with rec. samples  
40.     for (i=0; i<uiCuHeight; i++)//继续将该列下面的像素值作为左下方的参考像素  
41.     {  
42.       piAdiTemp[(1+uiCuHeight+i)*uiWidth] = piRoiTemp[0];  
43.       piRoiTemp += iPicStride;  
44.     }  
45.   
46.     // Fill top border with rec. samples  
47.     piRoiTemp = piRoiOrigin - iPicStride;//指向当前CU左上角像素的正上方  
48.     for (i=0; i<uiCuWidth; i++)  
49.     {  
50.       piAdiTemp[1+i] = piRoiTemp[i];  
51.     }  
52.       
53.     // Fill top right border with rec. samples  
54.     piRoiTemp = piRoiOrigin - iPicStride + uiCuWidth;//当前CU右上方的像素起始位置  
55.     for (i=0; i<uiCuWidth; i++)  
56.     {  
57.       piAdiTemp[1+uiCuWidth+i] = piRoiTemp[i];  
58.     }  
59.   }  
60.   else // reference samples are partially available  
61.   {  
62.     Int  iNumUnits2 = iNumUnitsInCu<<1;  
63.     Int  iTotalSamples = iTotalUnits*iUnitSize;  
64.     Pel  piAdiLine[5 * MAX_CU_SIZE];  
65.     Pel  *piAdiLineTemp;   
66.     Bool *pbNeighborFlags;  
67.     Int  iNext, iCurr;  
68.     Pel  piRef = 0;  
69.   
70.     // Initialize  
71.     for (i=0; i<iTotalSamples; i++)//用均值模式进行初始化  
72.     {  
73.       piAdiLine[i] = iDCValue;  
74.     }  
75.       
76.     // Fill top-left sample  
77.     piRoiTemp = piRoiOrigin - iPicStride - 1;//指向重建像素中当前CU的左上角位置  
78.     piAdiLineTemp = piAdiLine + (iNumUnits2*iUnitSize);  
79.     pbNeighborFlags = bNeighborFlags + iNumUnits2;  
80.     if (*pbNeighborFlags)//如果左上方的参考数据可用  
81.     {  
82.       piAdiLineTemp[0] = piRoiTemp[0];  
83.       for (i=1; i<iUnitSize; i++)  
84.       {  
85.         piAdiLineTemp[i] = piAdiLineTemp[0];  
86.       }  
87.     }  
88.   
89.     // Fill left & below-left samples  
90.     piRoiTemp += iPicStride;//从左上顶点的左上角移动到左方  
91.     if (bLMmode)  
92.     {  
93.       piRoiTemp --; // move the second left column  
94.     }  
95.     piAdiLineTemp--;//缓存指针前移一位  
96.     pbNeighborFlags--;//可用性标记指针前移一位  
97.     for (j=0; j<iNumUnits2; j++)  
98.     {  
99.       if (*pbNeighborFlags)  
100.       {  
101.         for (i=0; i<iUnitSize; i++)//判断过程分组进行处理，如对于一个32×32的CU，左侧和左下侧共64个预测点，总共进行16×4次赋值  
102.         {  
103.           piAdiLineTemp[-i] = piRoiTemp[i*iPicStride];  
104.         }  
105.       }  
106.       piRoiTemp += iUnitSize*iPicStride;  
107.       piAdiLineTemp -= iUnitSize;  
108.       pbNeighborFlags--;  
109.     }  
110.   
111.     // Fill above & above-right samples  
112.     piRoiTemp = piRoiOrigin - iPicStride;//水平方向上的处理与垂直方向类似  
113.     piAdiLineTemp = piAdiLine + ((iNumUnits2+1)*iUnitSize);  
114.     pbNeighborFlags = bNeighborFlags + iNumUnits2 + 1;  
115.     for (j=0; j<iNumUnits2; j++)  
116.     {  
117.       if (*pbNeighborFlags)  
118.       {  
119.         for (i=0; i<iUnitSize; i++)  
120.         {  
121.           piAdiLineTemp[i] = piRoiTemp[i];  
122.         }  
123.       }  
124.       piRoiTemp += iUnitSize;  
125.       piAdiLineTemp += iUnitSize;  
126.       pbNeighborFlags++;  
127.     }  
128.   
129.     // Pad reference samples when necessary  
130.     iCurr = 0;  
131.     iNext = 1;  
132.     piAdiLineTemp = piAdiLine;//指向参考数组的起点，见上图  
133.     while (iCurr < iTotalUnits)//遍历给定的参考点  
134.     {  
135.       if (!bNeighborFlags[iCurr])//某个点不可获得  
136.       {  
137.         if(iCurr == 0)//第一个参考点就找不到  
138.         {  
139.           while (iNext < iTotalUnits && !bNeighborFlags[iNext])//找到第一个可以获得的点  
140.           {  
141.             iNext++;  
142.           }  
143.           piRef = piAdiLine[iNext*iUnitSize];//记录该点的值  
144.           // Pad unavailable samples with new value  
145.           while (iCurr < iNext)//将找到的可用参考点赋给第一个参考点（以4个像素点一组为单位）  
146.           {  
147.             for (i=0; i<iUnitSize; i++)  
148.             {  
149.               piAdiLineTemp[i] = piRef;  
150.             }  
151.             piAdiLineTemp += iUnitSize;  
152.             iCurr++;  
153.           }  
154.         }  
155.         else  
156.         {  
157.           piRef = piAdiLine[iCurr*iUnitSize-1];//不可用的点不是第一个参考点，查找前一个可用的点为其赋值。  
158.           for (i=0; i<iUnitSize; i++)  
159.           {  
160.             piAdiLineTemp[i] = piRef;  
161.           }  
162.           piAdiLineTemp += iUnitSize;  
163.           iCurr++;  
164.         }  
165.       }  
166.       else//当前点可用，pass  
167.       {  
168.         piAdiLineTemp += iUnitSize;  
169.         iCurr++;  
170.       }  
171.     }  
172.   
173.     // Copy processed samples 输出前面所准备的数据  
174.     piAdiLineTemp = piAdiLine + uiHeight + iUnitSize - 2;  
175.     for (i=0; i<uiWidth; i++)  
176.     {  
177.       piAdiTemp[i] = piAdiLineTemp[i];  
178.     }  
179.     piAdiLineTemp = piAdiLine + uiHeight - 1;  
180.     for (i=1; i<uiHeight; i++)  
181.     {  
182.       piAdiTemp[i*uiWidth] = piAdiLineTemp[-i];  
183.     }  
184.   }  
185. }