基于模拟多曝光融合的行人动作图像增强方法

0引言

    随着科技的不断进步以，对影像的拍摄手段日益多元化，这也使得我们对影像的品质要求愈来愈高。但是，在对影像进行拍摄的过程中，会由于许多外在环境的干扰，尤其是特定的光线环境下，使得得到的影像曝光不均衡、细小画面出现不足，或者是不能看到影像里面的东西。导致这种现象出现的因素，有许多地方由于摄影器材本身的动态轨迹是有着某种影响的，发生这种现象时如果单纯地改变器材本身的曝光率，并不能真正地处理影像出现问题的地方，或者是产生异常拍摄的情况[1]。曝光的设置也能让以前不能正常显示的部分恢复，但也会使原本显示正常的区域逐渐地向过度曝光的方向去发展，导致最终仍然无法正常地观察图像。针对这样的情况，国内外的很多学者对此进行了大量研究，当前所使用的方法主要就是通过直方图以及Retinex图像来进行增强。而我们国家当前最经常使用的图像增强方式就是利用直方图，这个方法因为操作过程相对简单所以被很多领域所应用，但这个方法对噪声就会很敏感，在对图像进行增强的时候也会出现增强过度的现象。虽然，重新调整后的图像增强效果相对较好一点，但图像本身的纹理还是会出现部分重要信息丢失的情况[2]。因此，研究基于模拟多曝光融合的行人动作图像增强方法，此次研究在大量先进图像增强技术以及方法的基础上，结合传统方法存在的问题引入模拟多曝光融合技术，做到对图像进行更进一步的优化与增强，从而能够达到理想状态下的工作效果。

1确定并生成曝光图像

1.1过度曝光图像生成

    为了能够提高行人在进行运动时图像的可视化质量，解决图像自身亮度弱、对比度低以及细节的信息不够清晰等问题发生，就必须制作出各种曝光程度的虚拟图像绘画，并对图像做出相应的曝光效果处理。首先我们所要做到的就是，把图像本身的质量当做评价图像内部最佳曝光率的标准，然后再通过调整图像中最大曝光率的比值，来提高图像中曝光不足部位的图像清晰度，那么就可以利用下式（1）进行图像过滤，从而得到曝光不足的图像中有关像素的灰度值集合。

（1）

    其中：

代表着行人动作图像

中亮度这一分量

；

代表着图像中曝光不足区域，像素灰度值的阈值范围；这里面将

取值为0.5。那么，图像中曝光不足区域，一定会存在相应的像素点，那么这些像素点所构成的信息熵就如下式（2）所示。

（2）

    其中：

代表着

中，每一个灰度的等级

可能出现的概率情况[3]。

    随后，就可以利用图像中可能存在的信息熵以及信息熵最大化的原则，得到图像的最佳曝光率，具体关系如下式（3）所示。

（3）

    其中：

代表着最佳的曝光率；

代表着图像的曝光率；

代表着复数对角；而

代表着有关亮度映射的函数，具体表达方式如下式（4）所示。

（4）

    其中：

与

均代表着常数，其中

为-0.3293，b则为1.1528。

    于是，可以通过获取的动作图片中最佳曝光率

，并使用关于亮度映射的函数，对行人在动作图片

中的亮度这一分量

，进行虚拟化的曝光处理，那么就会得到处理之后的分量如下式（5）所示。

（5）

    其中：

代表着图像中与曝光率相关的变化量，通常情况下，

取值为1。

    最后，就可以将处理之后的分量

与其他保持不变的分量进行重新组合之后，形成色调、饱和度以及明度相关颜色的图像模型，并将其相互转换的颜色空间作为过度曝光的图像

。

1.2中度曝光图像生成

    如果仅仅使用过度曝光作为行人动作图像的互补图像，并且将其用来进行图像融合的话，所能够提供的信息非常受限制，在图像增强的效果方面也比较难以达到最理想的状态[4]。比如说，在行人动作图像中相对比较明亮的区域跟过度曝光图像中阴影区域比较昏暗进行对比的时候，很难对图像中所有可能存在的像素点进行权重的重新定义后保持原本的亮度。所以就需要利用行人动作图像以及所生成的过度曝光的图像作为主要输入图像，生成中度曝光的图像后进行融合。假设，相同场景下的行人动作图像

和过度曝光的图像

的曝光时间分别为是

和

，并且

大于

，那么中度曝光图像的曝光时间就如下式（6）所示。

（6）

    随后，就需要了解中度曝光的图像与其他曝光不同图像之间的关系[5]。假设，

代表着过度曝光图像

与中度曝光图像

之间关于亮度的映射函数关系，

则代表着行人动作图像

与中度曝光图像

之间关于亮度的映射函数关系，那么

和

具体的表达公式就如下式（7）所示。

（7）

    其中：

代表中相机响应的函数关系。

代表着某一图像[6]。

    在明确了中度曝光的图像与其他不同曝光的图像之间存在一定关系后，就可以利用行人动作图像和过度曝光图像作为其次输入的核心数据之一，并且还需要利用公式（7）来生成两个中间的虚拟图像，还需要保证这两个图像具有的曝光情况是一样的，具体如下式（8）所示。

（8）

    最后，就可以利用加权后的融合算法将生成的两个虚拟图像与中度曝光图像进行融合，具体关系如下式（9）所示。

（9）

    其中：

和

代表着权重的比例函数，具体关系如下式（10）所示。

（10）

    其中

和

的关系，就如下式（11）所示。

（11）

    其中：

和

分别代表着常数。由此就可以生成中度曝光的图像[7]。

2调整细节并进行光照补偿

    在对图像进行光照补偿的过程中，需要将变分的同态滤波进行增强之后所得到的V通道结果，作为以光照补偿为基础的输入图像。根据变分的同态滤波理论得到实际图像中有用的特征信息，来对光照进行更进一步的调整。并且，在相关图像进行光照补偿的过程中，可以利用Sigmoid函数以及伽玛校正来构建出关于光照补偿的统一化函数关系，具体如下式（12）所示。

（12）

    其中：

代表着转化之后V通道进行统一化的结果；

代表着进行光照补偿之后的结果；

代表着反正切运算；

代表着拉伸因子，主要就是用来调整图像中亮度较低区域的拉伸程度[8]。而对于拥有着不同亮度图像，其相应的结果也会随着

的变化而发生变化，具体如下式（13）所示。

（13）

    其中：

代表着取得平均值。可以看出，行人动作图像的均值越低，其拉伸因子会相对较高，那么对于亮度较低区域的拉伸效果就会越高，从而得到的信息也会更加地多。

    在对图片进行细节调整的过程中，可以同样地直接利用将经过变分的同态滤波片进行强化之后，所获得的V通道结果可以用来进行更有效的细节调整，而想要能够突出经过强化之后图片细节的整体效果，就必须对原本图片中所隐含的细节加以发掘。使用反锐化掩膜的算法实现了细节调整，并可以通过一般的mask来获取新引入的噪声信号，以及所有可以利用在高斯引导下的滤波获取到掩膜的部分，具体过程就如下式（14）所示。

（14）

    其中：

，

代表着图像中像素的坐标位置；

代表着图像中间的位置；

代表着图像的标准差值。

    对掩膜的部分使用均衡化的直方图获得图像加强之后的具体效果，并且将原本图像以及均衡化之后的图像进行统一，具体如下式（15）所示：

（15）

    其中：

是根据单位矩阵图像除去高斯滤波之后的图像，具体计算如下式（16）所示。

（16）

    其中：

代表着利用伽玛校正后得到的Sigmoid函数。最后，再根据两个统一化之后的图像，就可以得到进行细节调整之后的最终图像，具体如下式（17）所示。

（17）

    其中：

代表着单位矩阵下的图像；

它可以代表着

在经过对直方图的均衡性处理之后，再经过了标准化处理之后，最终获得的结果[9]。而最后获得的V，就是经过增强后的图像。

3基于模拟多曝光融合增强行人动作图像

    因为进行模拟多曝光的

、

、

是来自同一个场景，目标内容的高度相一致，但是每一个所侧重的点是不同的。这样在设置权重的过程中，既可以有效地增强行人的画面中不能进行拍摄的地方，又可以合理地保护原本画面中曝光非常良好的地方。这样就必须给曝光范围优质区域的像素分配到比较大的权重值，给没有进行曝光区域调整的像素分配到比较小的权重值。而根据这样的实际效果，就必须在画面的亮度、曝光范围和颜色对比度按照这三个角度进行权重的重新设置。

    关于亮度的权重，其设计与目标场景的能见度存在一定关系，应该给曝光优质区域分配的权重比例较大一些，而其他区域分配的权重比例较小一些。权重的重新设计是基于红绿蓝三个颜色通道的信息，具体如下式（18）所示。

（18）

    其中：

、

、

分别为图像

相互转换后的颜色空间中红色、绿色、蓝色的数值。

    关于曝光程度的权重，是利用像素的曝光程度来进行估算。通常情况下，增强的像素值需要维持在一个相对平衡的状态下，所以可以利用高斯距离的模型对曝光程度的权重进行重新设计，具体如下式（19）所示。

（19）

     因为希望增强之后的图像像素维持在一个中间的状态，所以

的取值范围在0到1之间。假设

设置为0.5，那么标准差

就可以设置为0.25。

     关于色调对比度的权重，它是高质量图像中一个非常重要的特征，主要设计的方式就是利用色调滤波，具体如下式（20）所示。

（20）

    其中：

和

代表着输入图像在色调、饱和度以及明度相关颜色图像模型中的分量；

用来保持颜色相互之间的对等；

代表着各个颜色之间存在偏移的角度；

用来缓解颜色饱和程度的影响。为了让所得到的图像处于一致的状态，那么就需要对每一个曝光图像的权重进行统一化的处理，具体如下式（21）所示。

（21）

    最终得到的增强之后的图像，就是利用模拟多曝光融合处理之后得到的图像[10]。如果使用传统的融合方法，就会让最终得到的图像因为增强之后产生离散状态的光晕效果。因此，就需要使用模拟多曝光融合的方法，首先就需要先使用拉普拉斯金字塔原理，对不同程度曝光图像按照不同的尺寸进行分解；而三种颜色的权重示意图则可以使用高斯金字塔原理，对不同程度曝光图像按照不同的尺寸进行分解。至此实现基于模拟多曝光融合的行人动作图像增强方法。

4应用与分析

4.1实验准备工作

    为了测试此次提出的行人动作图像增强方法，准确性以及实际使用过程中的效果，选择五个不同场景下的行人动作图像作为被检测的对象。总共采集到的数据为50组，其中可以准确观察出图像中行人的动作有38组，无法准确观察出图像中行人的动作有12组。为了验证本文方法的有效性，分别使用两种不同方法对无法观察出动作的图像进行增强，来验证不同方法的使用效果。

4.2实验测试与数据分析

    根据场景不同随机选择一张图像分别使用两种不同的方法进行增强，具体对比图像如下图1所示。

图1行人动作图像效果对比图

    由上图2可以看出，原始图像中无法清晰地看出人物的细节以及相应的动作，所以就需要对图像进行增强。使用传统方法进行图像增强之后，虽然比原始图像的亮度更高，但有些部分出现过度曝光的现象，影响了图像整体的质感；而使用本文方法进行图像增强之后，可以清楚地观察出图像中人物的细节信息甚至行走的动作。明显可以看出，使用本文方法增强之后的图像比原始图像更加清晰，亮度也会有所提升。为了验证上述结果的准确性，还需要进行对比实验，本次实验共进行5次，下表1为不同行人动作图像增强方法具体测试结果。

表1 不同行人动作图像增强效果结果（组）

测试轮次	传统方法	本文方法
1	5	12
2	7	11
3	6	12
4	5	11
5	7	9
平均	6	11

    由上述表1可以看出，使用传统方法对行人动作图像进行增强时，可以观察出图像中行人的动作，平均下来只有6组；而使用了模拟多曝光融合的方法之后，可以准确地观察出图像中行人的动作，平均下来却有11组。可以看出来，使用模拟多曝光融合方法之后，可以准确地识别出行人的动作。为了保证测试结果具有说服力，再次选取500组数据进行亮度失真（LOE）测试，具体结果如下图2所示。

图2不同方法亮度失真测试结果

    由上图2可以看出，在行人动作图像处于相同数量时，使用传统方法进行图像增强后，亮度失真的值维持在400 cd/m2~500cd/m2之间；并且，其亮度失真的平均值为450cd/m2。而使用本文方法进行图像增强后，亮度失真的值维持在100 cd/m2~250cd/m2之间，而且亮度失真的平均值为152.5cd/m2。根据相关规定，对于图像自身的增强效果来说，亮度失真（LOE）数值越小，其图像的亮度保持得越好，亮度的失真率就会越低。综上所述，传统方法在对行人动作图像进行增强的时候无法准确观察出图像中行人的动作，而使用了模拟多曝光融合的方法之后，更加容易而且准确地观察出图像中行人的动作，这样就可以做到对图像的效果进行增强。

3结束语

    此次图像增强方法是在我国当前所拥有方法的基础上，结合模拟多曝光融合研究出更准确的图像增强方法，为其他无法准确观察出行人动作的图像增强提供了更加完整的理论基础。但是此方法也有不足之处，今后可以把重点放在红外图像分辨率的提升上，从而可以更加准确地识别出图像内因行人在运动过程中产生的温度变化情况，让图像的效果可以达到最佳。