视频局部区域的马赛克处理

在电视采访中，有时候一些采访对象不愿意抛头露面。这种情况下，被采访者可能会背对摄像镜头；但更通常的做法是，被采访者仍然面对镜头，而在电视节目播出时对采访对象的面部进行马赛克处理。这种马赛克处理，使观众无法看清被采访者的真实面目，从而满足被采访者不愿抛头露面的初衷。作为程序员，你想过如何来实现这种效果处理吗？本文介绍的就是一种实现视频局部区域马赛克处理的简单易行的编程方法。

一． 马赛克处理原理及其实现

我们首先来看一下同一帧视频图像在进行马赛克处理前后的对比效果，如图1。

图1 对人像面部进行马赛克处理前后的效果对比

经过马赛克处理后，你无法识别她的真实面目了吧？那么，怎么会出现马赛克效果的呢？大家知道，图像是由像素组成的；像素颗粒的大小决定了图像表现的精度（这就是为什么小尺寸的电视机比大尺寸的电视机看起来更清楚的原因）。如果我们把指定区域的像素进行放大，不就出现马赛克效果了吗？别急，这里有个关键问题：对于给定的一种显示设备，其像素颗粒大小是物理不可变的，怎么进行放大呢？！
有办法：使用相邻的几个像素同时表现为同一个像素值，不就等于将像素放大了吗？只是如果我们把指定区域中的每一个像素都进行这样的放大处理后，马赛克区域将超出用户最初指定的区域（如果用户指定区域的宽度为w，像素水平放大的比率为ratiox，则这种马赛克处理后的区域宽度将覆盖w x ratiox）。如何将马赛克处理后的区域仍然限定在用户指定的区域内呢？笔者的做法是，对指定区域内的像素进行一次亚采样。如图2，假设我们将对图像中的R1区域进行马赛克处理。

图2 需要进行马赛克处理的区域

假设R1区域的像素排列如图3：

图3 R1区域的像素示意图

再假设像素的水平放大比率（ratiox）为3，垂直放大比率（ratioy）也为3，则经过马赛克处理后各对应位置像素值分布如图4：

图4 R1区域经过马赛克处理后的像素示意图

我们看到在R1区域内，水平方向上每3个像素采样1次（P00、P03、P06、P09、P30、P33、P36、P39、P60、P63、P66、P69等都是采样点），垂直方向上每个采样像素行都重复3次（第2、3行复制第1行的内容，第5、6行复制第4行的内容，以此类推）；每个采样点像素都被放大到一个3 x 3的宏块，也就是说，采样点像素被放大了9倍。

图像指定区域马赛克处理的C++实现

// 图像帧数据指针
PBYTE pImage;
// 获取图像数据
// …
// 指向图像第1行开头的指针
PBYTE pImageTopLine = NULL;
// 图像的跨度（以字节为单位）
long imageStride = 0;
// 如果图像数据是以从下往上的扫描顺序存储的，
// 则图像的第1行应该在pImage数据的倒数第1行；
// 如果图像数据是以从上往下的扫描顺序存储的，
// 则图像的第1行就是pImage指的位置
if (m_bIsBottomUp)
{
imageStride = -m_nImageStride;
pImageTopLine = pImage + m_nImageStride * (m_nImageHeight - 1);
}
else
{
imageStride = m_nImageStride;
pImageTopLine = pImage;
}

// ratioX是水平方向上像素的放大倍数
// ratioY是垂直方向上像素的放大倍数
// maskStride为进行马赛克处理的区域的宽度（以字节为单位）
/* macroWidth和macorHeight有如下计算关系：
RECT m_MaskRect; // 需要进行马赛克处理的矩形区域（由用户指定）
int maskWidth = m_MaskRect.right - m_MaskRect.left + 1;
int maskHeight = m_MaskRect.bottom - m_MaskRect.top + 1;
macroWidth = maskWidth / m_nRatioX;
macroHeight = maskHeight / m_nRatioY;
*/
int macroWidth, macroHeight, maskStride, ratioX, ratioY;
// 马赛克处理过程中：
// pMaskPixel 指向当前像素，
// pMaskLine指向当前行，
// pMaskNextLine下一行
PBYTE pMaskTopLine, pMaskLine, pMaskNextLine, pMaskPixel;
// pMaskTopLine指向需要进行马赛克处理的区域的第1行
// 注：m_nPixelBytes为单个像素占用的字节数
pMaskTopLine = pImageTopLine + m_MaskRect.top * imageStride + m_MaskRect.left * m_nPixelBytes;
macroWidth = m_nMacroWidth;
macroHeight = m_nMacroHeight;
maskStride = m_nMaskStride;
ratioX = m_nRatioX;
ratioY = m_nRatioY;

// 扫描指定区域的像素，进行马赛克处理…
int cycle = 0;
for (int i = 0; i < macroHeight; i++)
{
// 定位需要进行马赛克处理的当前行
pMaskLine = pMaskTopLine + i * ratioY * imageStride;
// 定位需要进行马赛克处理的当前像素
pMaskPixel = pMaskLine;
for (int j = 0; j < macroWidth; j++)
{
// 水平方向上进行像素放大
for (cycle = 0; cycle < ratioX - 1; cycle++)
{
// 将当前像素值复制给右边的下一个像素
memcpy(pMaskPixel+m_nPixelBytes, pMaskPixel, m_nPixelBytes);
// 指向下一个像素
pMaskPixel += m_nPixelBytes;
}
// 指向下一个采样像素
pMaskPixel += m_nPixelBytes;
}

// 垂直方向上进行像素放大
for (cycle = 0; cycle < ratioY - 1; cycle++)
{
// 获得马赛克处理区域的下一行指针
pMaskNextLine = pMaskLine + imageStride;
// 将马赛克处理区域的当前行（已经完成马赛克处理）复制给下一行
memcpy(pMaskNextLine, pMaskLine, maskStride);
// 修改当前行指针，指向下一行
pMaskLine = pMaskNextLine;
}
}

二． 组件开发与演示

有了马赛克处理的算法实现，接下去的问题就是，如何来获取连续的视频图像帧数据？在这里我们可以借助于DirectX SDK自带的一个工具软件GraphEdit（即SDK目录下的Bin/DXUtils/graphedt.exe）。运行GraphEdit，如图5：

图5 GraphEdit工具软件

执行菜单命令File | Render Media File…，在随后弹出的对话框中选择一个多媒体文件（比如选定一个含有人像、位置比较固定的MPEG2文件mp2_Sales.mpg），自动构建如图6的链路：

图6 使用GraphEdit构建的播放链路

然后执行菜单命令Graph | Play就可以对mp2_Sales.mpg文件实现播放了。同样执行Graph | Pause或Graph | Stop就可以暂停或停止当前的播放。
值的注意的是，GraphEdit播放mp2_Sales.mpg文件采用的就是DirectShow技术！大家知道，DirectX是微软公司提供的一套在Windows平台上开发高性能图形、声音、输入、输出和网络游戏的编程接口；而DirectShow就是DirectX的一个成员，专门用于音视频数据采集、多媒体文件播放等方面的应用。DirectShow中最基本的功能模块叫做Filter（图6中每个矩形块都代表一个Filter）；每个Filter都至少有一个Pin，用于接收数据或者输出数据；Filter总是完成一定的功能（图6中左边第一个Filter是文件源，MPEG-2 Splitter负责将MPEG2数据流中的音频和视频分离，CyberLink Audio Decoder负责将MPEG格式的音频数据解码，HQ MPEG-2 Video Decoder负责将MPEG格式的视频数据解码，Default DirectSound Device负责音频播放，Video Renderer负责视频显示）；各种Filter按照一定的顺序串联起来，相互协作；数据在Filter之间沿着箭头的方向流动，直到Default DirectSound Device和Video Renderer。
DirectShow是一个模块化的、开放性的应用框架。我们可以开发自己的Filter组件，然后插入到Filter链路中的某个位置，以获得处理数据流的机会。拿本文需要实现的视频马赛克处理来说，我们完全可以将马赛克处理算法实现在一个Filter中，然后将其连接到视频解码Filter后面，以获取连续的、非压缩的图像帧数据。我们把这个Filter取名为“HQ Video Mosaic”；因为这个Filter可以在输入的图像帧上“就地”修改数据，因此Filter可以采用Trans-In-Place模型；Filter接受16位、24位、32位RGB格式的数据输入。HQ Video Mosaic开发完成后生成Hqmosaic.ax文件（假设放在C:/下），然后使用系统的Regsvr32.exe注册（方法是：执行命令行Regsvr32 C:/Hqmosaic.ax）。（注意：关于DirectShow Filter开发方法更详细的介绍，限于篇幅，笔者在这里就不作展开了；有兴趣的读者可以参考笔者的两本拙作《DirectShow开发指南》和《DirectShow实务精选》。HQ Video Mosaic Filter的源代码请读者到http://hqtech.nease.net下载。）
Filter组件开发完成并且成功注册之后就可以在GraphEdit中使用了。首先还是构建如图6的Filter链路。然后执行菜单命令Graph | Insert Filters…，在随后弹出的对话框中点开“DirectShow Filters”目录，然后找到“HQ Video Mosaic”一项双击将其加入。接着将HQ MPEG-2 Video Decoder与Video Renderer的连接断开（用鼠标选中这两个Filter之间的箭头后按下键盘的Delete键）。然后将HQ MPEG-2 Video Decoder连向HQ Video Mosaic，再将HQ Video Mosaic连向Video Renderer。（两个Filter之间的连接方法：首先在欲连接的上一级Filter的输出Pin上按住鼠标左键不放，拖动鼠标到下一级Filter的输入Pin上，最后放开鼠标左键。）最终的Filter链路如图7：

图7 在GraphEdit中使用渐入渐出Filter

现在，执行菜单命令Graph | Play，我们就可以看到类似图1的视频局部区域马赛克处理的演示了。另外，通过如图8的HQ Video Mosaic Filter的属性页（打开属性页的方法：鼠标选中HQ Video Mosaic，执行右键菜单项“Filter Properties…”），我们还可以动态更新需要进行马赛克处理的区域，以及像素水平/垂直放大的比率。

图8 HQ Video Mosaic Filter的属性页

三． 小结

本文介绍了视频马赛克处理的原理，以及一种使用C++的算法实现。随后借助于DirectShow，本文还完成了视频局部区域马赛克处理的效果演示。