Adaptive Reference Sample Smoothing(RSAF)

• RSAF技术简介
• 在HEVC中，对于帧内预测的参考像素支持滤波操作，由sps中的参数m_intraSmoothingDisabledFlag、预测模式方向、颜色分量等决策，见函数filteringIntraReferenceSamples()。当支持使用滤波时，由sps的参数m_useStrongIntraSmoothing和颜色分量决策是否选择强滤波。若为Y分量且m_useStrongIntraSmoothing有效，则使用强滤波，即利用bottomleft和topleft位置的点对每个参考像素做线性插值；否则，使用弱滤波，即对每个参考像素采用3-tap（1,2,1）>>2的滤波器进行滤波。
• 在JEM中，采用了一种新的参考像素滤波机制，如下图所示，额外增加了3-tap (1,2,1)>>2和5-tap （2,3,6,3,2）>>4的低通滤波器。令第一行的判断条件（should reference samples be filtered according to the HEVC/H.265 rules）为条件1，也即当HEVC中sps中的m_intraSmoothingDisabledFlag为否时，用于判断是否支持HEVC的帧内预测滤波。令第二行的判断条件(filtering flag ==1)位条件2， 用于判断是否支持RSAF,由sps中增加的参数m_useRSAF决策。令三环的判断条件（can the filtering flag be hidden?）为条件3，用于判断是否支持隐藏滤波的标志。
  
• 当必须满足条件3时，即一定会隐藏filter flag时：若满足条件1，即原来就支持HEVC的滤波方式，若还满足条件2，则使用5-tap滤波器；若不满足条件2，则使用3-tap滤波器。若不满足条件1，且不满足条件2，则不使用滤波；否则不满足条件1的同时满足条件2，仍使用3-tap滤波器。
• 当不满足条件3时，即不使用隐藏filter flag技术，则直接采用HEVC中原有的技术。即RSAF这个技术不起作用。所以，要想使用RSAF时，必定支持隐藏filter flag技术。
• 在HEVC中，支持signbithidding技术，用于隐藏CG内最后一个系数的符号，减少编码一个符号的bits。而在JEM中，隐藏filter flag技术类似与signbithidding，在编码端，filter flag和sign hidding相结合隐藏，利用checksum的值，以及第一个非零系数的正负性，以及奇数位置上与偶数位置上分别隐藏的代价，选择代价最小的位置进行隐藏，具体地，参考函数xRateDistOptQuant()内getMapSBH， fixSBH等步骤。
• RSAF条件限制
  
  • sps参数，决定序列级是否采用该技术
  • cu参数，决定cu级别是否采用该技术
  • 只作用于亮度分量，帧内PU划分为intra 2Nx2N，预测模式不为DC，且不大于32x32的CU且大于4x4的TU上，且至少有一个CG使用signbithidding
  • 为了避免经过多种滤波导致的过度模糊，对于小于16x16的块取消boundary prediction filter，当其使用PDPC时。
  • 当PDPC有效时，RSAF就不使用

---

• JEM中代码阅读
  
  • 函数调用关系
    
  • 其中xRecurIntraCodingLumaQT_RSAF内，是对使用RSAF和未使用RSAF做RDO，则最优的一种方式