【OpenCV】不变矩

图像矩

在计算图像矩是需要将图像转化为单通道的灰度图，或者进行二值化处理，即目标对象设为1，背景设为0。

图像的矩是将图像像素灰度值进行加权平均，从而反映图像中像素值分布的一种算子。

零阶矩

最简单的图像矩是以1的权重计算的像素灰度值之和，即：
$$\begin{array}{c}{m}_{00}=\sum _x\sum _{y}f(x,y)\end{array}$$
如果要计算的是二值化图片中的一个白色对象，比如下图中的字母“S”：

通过公式可以知道，零阶矩计算的就是这个字母的像素点的个数和。因此可以推出，零阶矩只能反映图像中对象的面积信息。

至于为什么这个图像矩称为零阶矩，看完下面的空间矩就可知。

空间矩

如果在零阶矩的基础上再加上像素点的位置信息，即行数和列数，则可得到图像的空间矩：
$$\begin{array}{c}{m}_{pq}=\sum _x\sum _y{x}^p{y}^{q}f(x,y)\end{array}$$

• 其中$(p+q)$称为矩的阶；
• 当$p,q=0$时，就可得到$(1)$式中的零阶矩，这也是它为什么被称为零阶矩的原因。

空间矩又称原始矩。由于加入了行数和列数，所以相比于零阶矩，它除了可以反映对象的面积信息，还可以反映图像相对于原点（0行，0列）的位置信息，即离原点越远的灰度值，权重越高。

质心

通过$(2)$式可以计算对象的两个一阶矩：
$$m_{10}=\sum _x\sum _{y}xf(x,y)$$$$m_{01}=\sum _x\sum _{y}yf(x,y)$$

这两个一阶矩分别代表了对象中的灰度值在行和列上的分布情况，将它们分别除以零阶矩，就可以得到行和列上的中心位置：
$$\bar{x}=\frac{m_{10}}{m_{00}},\bar{y}=\frac{m_{01}}{m_{00}}$$
上式就是对象的质心坐标，代表了对象的中心位置。

中心矩

空间矩包含了对象相对于图像原点的位置信息；如果换成对象相对于其质心的位置信息就变成了中心矩：
$$\begin{array}{c}{\mu }_{pq}=\sum _x\sum _x(x-\bar{x}{)}^p(y-\bar{y}{)}^{q}f(x,y)\end{array}$$

由于是相对于对象自身质心的分布，所以中心矩对于对象的平移不敏感，即具有平移不变性。
无论对象处于图像中的什么位置，只要形状不变，中心矩就不变。

归一化中心矩

在中心矩的基础上，再将其进行归一化，就得到了归一化的中心矩：
$${\eta }_{pq}=\frac{{\mu }_{pq}}{({\mu }_{00}{)}^{\gamma }},\gamma =\left(\frac{p+q}{2}+1\right)$$

由于经过了归一化，所以该矩对于图像的缩放也不敏感了，即又具有尺度不变性。
无论对象被缩放到什么尺寸，只要形状不变，归一化中心矩就不变。

Hu矩

利用归一化后的2阶或3阶中心矩可以构造出7个不变矩（Hu矩）：
$$\begin{array}{rl}hu[0]& ={\eta }_{20}+{\eta }_{02}\\ hu[1]& =({\eta }_{20}-{\eta }_{02}{)}^2+4{\eta }_{11}^3\\ hu[2]& =({\eta }_{30}-3{\eta }_{12}{)}^2+(3{\eta }_{21}-{\eta }_{03}{)}^2\\ hu[3]& =({\eta }_{30}+{\eta }_{12}{)}^2+({\eta }_{21}+{\eta }_{03}{)}^2\\ hu[4]& =({\eta }_{30}-3{\eta }_{12})({\eta }_{30}+{\eta }_{12})[({\eta }_{30}+{\eta }_{12}{)}^2-3({\eta }_{21}+{\eta }_{03}{)}^2]+(3{\eta }_{21}-{\eta }_{03})({\eta }_{21}+{\eta }_{03})[3({\eta }_{30}+{\eta }_{12}{)}^2-({\eta }_{21}+{\eta }_{03}{)}^2]\\ hu[5]& =({\eta }_{20}-{\eta }_{02})[({\eta }_{30}+{\eta }_{12}{)}^2-({\eta }_{21}+{\eta }_{03}{)}^2]+4{\eta }_{11}({\eta }_{30}+{\eta }_{12})({\eta }_{21}+{\eta }_{03})\\ hu[6]& =(3{\eta }_{21}-{\eta }_{03})({\eta }_{21}+{\eta }_{03})[3({\eta }_{30}+{\eta }_{12}{)}^2-({\eta }_{21}+{\eta }_{03}{)}^2]-({\eta }_{30}-3{\eta }_{12})({\eta }_{21}+{\eta }_{03})[3({\eta }_{30}+{\eta }_{12}{)}^2-({\eta }_{21}+{\eta }_{03}{)}^2]\end{array}$$
Hu M. K.在其1962年的论文中证明了这些矩具有旋转不变性。无论对象经过多少角度的旋转，只要形状不变，其Hu矩就不变。

但是有个例外，就是$Hu[6]$，它在经过旋转后，符号会发生改变。

Hu矩不变性的代码体现

以下代码分别对

• 灰度图
• 缩小1/2后的图
• 逆时针旋转5度的图
• 垂直镜像后的图

计算了Hu矩，代码如下：

import cv2
import numpy as np
np.set_printoptions(suppress=True)

def my_humoments(img_gray):
    moments = cv2.moments(img_gray)
    humoments = cv2.HuMoments(moments)
    # 取对数
    humoments = np.log(np.abs(humoments))
    print(humoments)
    
if __name__=='__main__':
    fp = 'lena.jpg'
    img = cv2.imread(fp)
    img_gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    my_humoments(img_gray)
    
    # 缩放
    h,w = img.shape[:2]
    img = cv2.resize(img, (h//2, w//2), cv2.INTER_LINEAR)
    img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    cv2.imwrite("scale.jpg", img_gray)
    my_humoments(img_gray)
    
    # 旋转
    (h, w) = img.shape[:2]
    center = (w//2, h//2)
    M = cv2.getRotationMatrix2D(center, 5, 1.0)
    img =  cv2.warpAffine(img, M, (w, h))
    img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    cv2.imwrite("rotate.jpg", img_gray)
    my_humoments(img_gray)
    
    # 垂直镜像
    img = cv2.flip(img, 0, dst=None)
    img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    cv2.imwrite("flip.jpg", img_gray)
    my_humoments(img_gray)

输出结果为：

变换形式	图	$Hu[0]$	$Hu[1]$	$Hu[2]$	$Hu[3]$	$Hu[4]$	$Hu[5]$	$Hu[6]$
灰度图		-6.62198257	-18.82412227	-27.47557879	-25.20612238	-54.72034032	-34.69525116	-51.54784997
缩放		-6.62296285	-18.82833832	-27.48225177	-25.21085389	-54.77047947	-34.70200431	-51.55821672
旋转		-6.63267923	-18.67986945	-26.87920354	-25.25423734	-54.52139692	-34.62802668	-51.32178852
垂直镜像		-6.63267923	-18.67986945	-26.87920354	-25.25423734	-54.52139692	-34.62802668	-51.32178852

可以看到，虽说Hu矩具有平移不变性、尺度不变性和旋转不变性，但是并不是计算出来的值都相等，只是变化非常小。

Hu矩和中心矩结合OpenCV中的轮廓检测操作可以很好地识别物体、文字的轮廓。

附录

对于二维连续函数$f(x,y)$，其$(p+q)$阶的空间矩定义如下：
$$m_{pq}={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }{x}^p{y}^{q}f(x,y)\mathrm{d}x\mathrm{d}y,p,q=0,1,2,\cdots$$

• 上式中的$p$和$q$可以取所有的自然数，所以$m_{pq}$是一个空间矩的集合，且函数$f(x,y)$只有唯一的矩的集合与之对应。
• 参数$(p+q)$称为矩的阶。

• 当阶$p+q=0$时，得到零阶矩。零阶矩的几何意义就是对象的面积：$$m_{00}={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }f(x,y)\mathrm{d}x\mathrm{d}y$$
• 当$p=1,q=0$时，$m_{10}$表示对象上所有点的$x$坐标的总和：$$m_{10}={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }xf(x,y)\mathrm{d}x\mathrm{d}y$$
• 当$p=0,q=1$时，$m_{01}$表示对象上所有点的$y$坐标的总和，：$$m_{01}={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }yf(x,y)\mathrm{d}x\mathrm{d}y$$

中心矩：$${\mu }_{pq}={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }(x-\bar{x}{)}^p(y-\bar{y}{)}^{q}f(x,y)\mathrm{d}x\mathrm{d}y$$

参考

1. 昊虹AI笔记，《什么叫图像或轮廓的空间矩、中心矩、归一化中心矩？并利用OpenCV的类Moments计算轮廓的这几个矩和质心位置》
2. AI人工智能科学，《矩、中心矩、质心、patch方向》
3. Ming-Kuei Hu. (1962). Visual pattern recognition by moment invariants. IEEE Transactions on Information Theory, 8(2), 179–187. doi:10.1109/tit.1962.1057692
4. 暂未成功人士！，《机器学习图像特征提取—Hu矩（Hu不变矩）原理及代码》
5. 赵卓不凡，《一文弄懂图像的矩和相关应用》
6. 《深度时间OCR：基于深度学习的文字识别》，机械工业出版社，2020年5月
7. Mr2021，《Opencv:基于Hu-moments（hu矩）的形状匹配》