【OpenCV】OpenCV基础教程（3）—— 对比度增强

3. 对比度增强

3.1 灰度直方图

获取灰度直方图的函数如下：

void cv::calcHist(const cv::Mat *images, int nimages, const int *channels, cv::InputArray mask, cv::OutputArray hist, int dims, const int *histSize, const float **ranges, bool uniform = true, bool accumulate = false)

用法如下：

Mat srcImage;
srcImage = imread("../orange.jpg");
//分割成三通道图像
vector<Mat> channels;
split(srcImage, channels);
//设定bin数目
int histBinNum = 256;
//设定取值范围
float range[] = {0, 255};
const float* histRange = range;
//设置参数
bool uniform = true;
bool accumulate = false;
//声明三个通道的hist数组
Mat red_hist, green_hist, blue_hist;
//计算直方图
calcHist(&channels[0], 1, 0, Mat(), red_hist, 1, &histBinNum, &histRange, uniform, accumulate);
calcHist(&channels[1], 1, 0, Mat(), green_hist, 1, &histBinNum, &histRange, uniform, accumulate);
calcHist(&channels[2], 1, 0, Mat(), blue_hist, 1, &histBinNum, &histRange, uniform, accumulate);

输出是Size为[1 x 256]的Mat类型。red_hist代表红色直方图，green_hist代表绿色直方图，blue_hist代表蓝色直方图。

以下是绘制直方图曲线的方式（使用频率低）：

//创建直方图窗口
int hist_w = 800;
int hist_h = 300;
int bin_w = cvRound((double)hist_w/histBinNum);
Mat histImage(hist_h, hist_w, CV_8UC3, Scalar(0, 0, 0));
//将直方图归一化到范围[0, hist_h]
normalize(red_hist, red_hist, 0, hist_h, NORM_MINMAX);
normalize(green_hist, green_hist, 0, hist_h, NORM_MINMAX);
normalize(blue_hist, blue_hist, 0, hist_h, NORM_MINMAX);
//循环绘制直方图
for(int i = 1; i < histBinNum; ipp)
{
    line(histImage, Point(bin_w*(i-1), hist_h - cvRound(red_hist.at<float>(i-1))), 
         Point(bin_w*(i), hist_h - cvRound(red_hist.at<float>(i))), Scalar(0, 0, 255), 2, 8, 0);
    line(histImage, Point(bin_w*(i-1), hist_h - cvRound(green_hist.at<float>(i-1))), 
         Point(bin_w*(i), hist_h - cvRound(green_hist.at<float>(i))), Scalar(0, 255, 0), 2, 8, 0);
    line(histImage, Point(bin_w*(i-1), hist_h - cvRound(blue_hist.at<float>(i-1))), 
         Point(bin_w*(i), hist_h - cvRound(blue_hist.at<float>(i))), Scalar(255, 0, 0), 2, 8, 0);
}
//绘制图像
imshow("原图像", srcImage);
imshow("图像直方图", histImage);

效果大概如下：

图像对比度是通过灰度级范围来度量的，灰度级范围可通过观察灰度直方图得到。灰度级范围越大代表对比度越高；反之，对比度越低，图像在视觉上给人的感觉是看起来不够清晰的，所以需要通过算法调整图像的灰度值。

3.2 线性变换

图像的线性变化可以利用以下公式定义：
$$\mathbf{O}(r,c)=a\cdot \mathbf{I}(r,c)+b,0\le r<H,0\le c<W$$

当$a=1,b=0$时，$\mathbf{O}$为$\mathbf{I}$的一个副本

当$a>1$时，输出图像$\mathbf{O}$的对比度比$\mathbf{I}$有所增大

当$a<1$时，输出图像$\mathbf{O}$的对比度比$\mathbf{I}$有所减小

当$b>0$时，亮度增加

当$b<0$时，亮度减小

---

OpenCV实现有以下方式：

1. 利用函数convertTo

void cv::Mat::convertTo(cv::OutputArray m, int rtype, double alpha = (1.0), double beta = (0.0))

参数alpha和beta可以理解为线性变换中的$a$和$b$。

Mat I = (Mat_<uchar>(2, 2) << 0, 200, 23, 4);
Mat O;
I.convertTo(O, CV_8UC1, 2.0, 0);

注意：当输出矩阵的数据类型是CV_8U时，大于255的值会自动截断为255。

2. 利用乘法运算符*

Mat O = 3.5 * I;

注意：输出矩阵的数据类型和输入矩阵的数据类型相同，若为CV_8U，大于255的值会自动截断为255。

3. 利用函数convertScaleAbs

void cv::convertScaleAbs(cv::InputArray src, cv::OutputArray dst, double alpha = (1.0), double beta = (0.0))

参数alpha和beta可以理解为线性变换中的$a$和$b$。

Mat I = (Mat_<uchar>(2, 2) << 0, 200, 23, 4);
Mat O;
convertScaleAbs(I, O, 2.0, 0);

注意：输出矩阵的数据类型和输入矩阵的数据类型相同，若为CV_8U，大于255的值会自动截断为255。

---

以上线性变换是对整个灰度级范围使用了相同的参数。有的时候也需要针对不同的灰度级范围进行不同的线性变换，即分段线性变换。

例如：
KaTeX parse error: Unknown column alignment: * at position 40: … \begin{array}{*̲{35}{l}} 0.5…
但是，选择合适的参数是很麻烦的。需要有一种方式可以基于当前图像的情况自动选取$a$和$b$的值，即直方图正规化。

3.3 直方图正规化

$$\mathbf{O}(r,c)=\frac{{\mathbf{O}}_{\max }-{\mathbf{O}}_{\min }}{{\mathbf{I}}_{\max }-{\mathbf{I}}_{\min }}[\mathbf{I}(r,c)-{\mathbf{I}}_{\min }]+{\mathbf{O}}_{\min }$$

显然，直方图正规化就是一种自动选取$a$和$b$的值的线性变换方法，其中：
$$a=\frac{{\mathbf{O}}_{\max }-{\mathbf{O}}_{\min }}{{\mathbf{I}}_{\max }-{\mathbf{I}}_{\min }}$$

$$b={\mathbf{O}}_{\min }-\frac{{\mathbf{O}}_{\max }-{\mathbf{O}}_{\min }}{{\mathbf{I}}_{\max }-{\mathbf{I}}_{\min }}\cdot {\mathbf{I}}_{\min }$$

---

直方图正规化最核心的步骤之一是计算原图中出现的最小灰度级和最大灰度级，OpenCV提供的函数：

void cv::minMaxLoc(cv::InputArray src, double *minVal, double *maxVal = (double *)0, cv::Point *minLoc = (cv::Point *)0, cv::Point *maxLoc = (cv::Point *)0, cv::InputArray mask = noArray())

src：输入矩阵

minVal：最小值，double类型指针

maxVal：最大值，double类型指针

minLoc：最小值的位置索引，Point类型指针

maxLoc：最大值的位置索引，Point类型指针

利用minMaxLoc函数不仅可以计算出矩阵中的最大值和最小值，而且可以求出最大值和最小值的位置。在使用过程中如果只想得到最大值和最小值，则将其他的变量值设为NULL即可。

minMaxLoc(src, &minVal, &maxValue, NULL, NULL)

直方图正规化的C++实现如下所示：

//输入图像矩阵
Mat I = imread(argv[1], CV_LOAD_IMAGE_GRAYSCALE);
//找到I的最大值和最小值
double Imax, Imin;
minMaxLoc(I, &Imin, &Imax, NULL, NULL);
//设置Omin和Omax
double Omin = 0, Omax = 255;
//计算a和b
double a = (Omax - Omin) / (Imax - Imin);
double b = Omin - a * Imin;
//线性变换
Mat O;
convertScaleAbs(I, O, a, b);
//显示原图和直方图正规化的效果
imshow("I", I);
imshow("O", O);

---

也可以调用normalize函数实现：

void cv::normalize(cv::InputArray src, cv::InputOutputArray dst, double alpha = (1.0), double beta = (0.0), int norm_type = 4, int dtype = -1, cv::InputArray mask = noArray())

src：输入矩阵

dst：结构元

alpha：结构元的锚点

beta：腐蚀操作的次数

norm_type：边界扩充类型

dtype：边界扩充值

• 当参数norm_type=NORM_L1时，计算src的1-范数（绝对值的和）；

• 当参数norm_type=NORM_L2时，计算src的2-范数（平方和的开方）；

• 当参数norm_type=NORM_INF时，计算src的∞-范数（绝对值的最大值）；

$$\mathbf{d}\mathbf{s}\mathbf{t}(r,c)=\text{alpha}\cdot \frac{\mathbf{s}\mathbf{r}\mathbf{c}(r,c)}{\Vert \mathbf{s}\mathbf{r}\mathbf{c}\Vert }+\text{beta}$$

• 当参数norm_type=NORM_MINMAX时，计算src的最小值和最大值；

$$\mathbf{d}\mathbf{s}\mathbf{t}(r,c)=\text{alpha}\cdot \frac{\mathbf{s}\mathbf{r}\mathbf{c}(r,c)-\mathbf{s}\mathbf{r}{\mathbf{c}}_{\min }}{\mathbf{s}\mathbf{r}{\mathbf{c}}_{\max }-\mathbf{s}\mathbf{r}{\mathbf{c}}_{\min }}+\text{beta}$$
使用函数normalize对图像进行对比度增强时，经常令参数norm_type = NORM_MINMAX，仔细观察会发现和直方图正规化原理详解中提到的计算方法是相同的，参数alpha相当于${\mathbf{O}}_{\max }-{\mathbf{O}}_{\min }$，参数beta相当于${\mathbf{O}}_{\min }$。注意，使用normalize可以处理多通道矩阵，分别对每一个通道进行正规化操作。

---

Mat src = imread(argv[1], CV_LOAD_IMAGE_ANYCOLOR);
Mat dst;
//alpha = Omax - Omin = 255 - 0 = 255;
//beta = Omin = 0;
normalize(src, dst, 255, 0, NORM_MINMAX, CV_8U);

3.4 伽马变换

首先将输入图像的灰度值归一化到$[0,1]$的范围。对于8位图来说，除以255即可。

伽马变换就是令：
$$\mathbf{O}(r,c)=\mathbf{I}{(r,c)}^{\gamma }$$

• 当$\gamma =1$时，图像不变；
• 如果图像整体或者感兴趣区域较暗，令$0<\gamma <1$可以增加图像对比度；
• 如果图像整体或者感兴趣区域较亮，令$\gamma >1$可以降低图像对比度。

---

//输入图像矩阵
Mat I = imread(argv[1], CV_LOAD_IMAGE_GRAYSCALE);
//灰度值归一化
Mat fI;
I.convertTo(fI, CV_64F, 1.0/255, 0);
//伽马变换
double gamma = 0.5;
Mat O;
pow(fI, gamma, O);	//注意O和fI有相同的数据类型
//显示伽马变换后的效果
imshow("O", O);

注意：如果想本地保存O，则还需要将灰度值变为在[0,255]之间且转换为CV_8U类型。

O.convertTo(0, CV_8U, 255, 0);
imwrite("O.jpg", O);

3.5 全局直方图均衡化

假设$\mathbf{h}\mathbf{i}\mathbf{s}{\mathbf{t}}_{\mathbf{I}}(k)$代表灰度值等于$k$的像素点的个数，其中$k\in [0,255]$。我们期望$\mathbf{h}\mathbf{i}\mathbf{s}{\mathbf{t}}_{\mathbf{O}}(k)\approx \frac{H\cdot W}{256}$（图像不可能出现每一个灰度级的像素点的个数都是严格相等的）。那么对应任意的灰度级$p$，$0\le p\le 255$，总能找到$q$，$0\le q\le 255$，使得：
$$\sum _{k=0}^p\mathbf{h}\mathbf{i}\mathbf{s}{\mathbf{t}}_{\mathbf{I}}(k)=\sum _{k=0}^q\mathbf{h}\mathbf{i}\mathbf{s}{\mathbf{t}}_{\mathbf{O}}(k)\approx (q+1)\frac{H\cdot W}{256}$$
化简可得：
$$q\approx 256\frac{\sum _{k=0}^p\mathbf{h}\mathbf{i}\mathbf{s}{\mathbf{t}}_{\mathbf{I}}(k)}{H\cdot W}-1$$
由此可以得到：
$$\mathbf{O}(r,c)=256\frac{\sum _{k=0}^{\mathbf{I}(r,c)}\mathbf{h}\mathbf{i}\mathbf{s}{\mathbf{t}}_{\mathbf{I}}(k)}{H\cdot W}-1$$

---

OpenCV实现的直方图均衡化函数：

void cv::equalizeHist(cv::InputArray src, cv::OutputArray dst)

3.6 限制对比度的自适应直方图均衡化

**背景：**全局直方图均衡化处理以后暗区域的噪声可能会被放大，变得清晰可见；亮区域可能会损失信息。为了解决该问题，提出了自适应直方图均衡化。

**思想：**首先将图像分为不重叠的区域块，然后对每一个块分别进行直方图均衡化。如果直方图的bin超过了提前预设好的”限制对比度“，那么会被裁剪，然后将裁剪的部分均匀分布到其他的bin。

---

默认设置“限制对比度”为40（以下设置为2），块的大小为8×8：

//输入图像
Mat src=imread(argv[1], CV_LOAD_IMAGE_GRAYSCALE);
//构建CLAHE对象
Ptr<CLAHE> clahe = createCLAHE(2.0, Size(8, 8));
Mat dst;
//限制对比度的自适应直方图均衡化
clahe->apply(src,dst);