数字图像处理

1 基础知识

图像的数字化：将连续的模拟图像转换为计算机可处理的离散数字图像的过程。
包括两种：采样和量化
采样：空间域 -> 有限的离散坐标 决定了空间分辨率
量化：响应值 - > 有限的离散数值 决定了灰度分辨率

香农采样定理：只要采样的频率大于被采样信号最高频率的2倍，就可以完全恢复。

1.1 采样

图像采样：将一副在空间上连续分布的模拟图像分割成MN的网格，每个网格为一个像素。MN称为图像的空间分辨率。

# 使用求均值的方法进行图像采样
from skimage import io
from matplotlib import pyplot as plt
import numpy as np
file_name = r'C:\Users\Chen\Pictures\timg154451.jpg'
image = io.imread(fname = file_name)
print(image.shape)
print(type(image))
ratio = 20
image1 = np.zeros((int(image.shape[0]/ratio), int(image.shape[1]/ratio), image.shape[2]), dtype = 'int32')
for i in range(image1.shape[0]):
    for j in range(image1.shape[1]):
        for k in range(image1.shape[2]):
            dalta = image[i * ratio : (i+1) * ratio, j * ratio: (j+1)*ratio, k]
            image1[i, j, k] = np.mean(dalta)
plt.imshow(image1)
plt.show()

(714, 829, 3)
<class ‘numpy.ndarray’>

(714, 829, 3)<class ‘numpy.ndarray’>

1.2 量化

图像量化：图像的像素值（响应值） I(x,y) 的数字化。
将图像响应值从Imin到Imax的实数域映射为有限级别的离散数值。

from skimage import data
from matplotlib import pyplot as plt
file_name = data.coffee()
ratio = 128
for i in range(image.shape[0]):
    for j in range(image.shape[1]):
        for k in range(image.shape[2]):
            image[i][j][k] = int(image[i][j][k] / ratio) * ratio
plt.imshow(image)
plt.show()

空间滤波处理

空间域：图像平面本身。（相对于变化域）以图像中的像素为基础对图像进行处理。空间域的图像处理是在像素邻域进行操作。
频域的图像处理，首先就是将图像变换为变化域，在频域中进行处理，处理后将其反变换至空间域。
频域的处理，主要包括低通滤波和高通滤波。低通可以去除图像噪声，相当于空间域的平滑处理。高通可以增强图像的边缘轮廓，相当于空间域的锐化处理。

平滑处理

平滑处理常用于模糊处理和降低噪声。
统计排序滤波器：最大值滤波器（寻找最亮点），中值滤波器（降噪），最小值滤波器（寻找最暗点）。
中值滤波器对处理脉冲噪声（椒盐噪声：去除邻域的白点黑点）非常有效。

图像特征提取

原则：代表性（可区分性），稳定性，独立性

图像颜色特征提取

颜色直方图

计算简单，旋转平移不敏感。无法描述空间位置信息
一般颜色直方图：适用于对难以进行语义分割的图像和无需考虑物体空间位置的图像进行描述
全局累加直方图：将颜色不大于Xi的所有元素的一般颜色直方图的累加和。解决一般颜色直方图法中的零值问题，也弥补了全局直方图量化过细导致的度量效果下降的缺陷。
主色调直方图：选取出现频率最高的几种颜色作为主色调，抑制图像非主要成分的噪声，降低噪声对图像匹配的影响。

矩

一阶颜色矩：数据分布的均值
二阶颜色矩：数据分布的方差
三阶颜色矩：数据分布的偏移度

颜色矩：一共9个分量，简洁，分辨力弱，和其他特征结合使用，可以缩小范围。

颜色集

又称颜色索引集，类似颜色直方图

颜色聚合向量

在颜色直方图的基础上做进一步运算。
如果该颜色量化区间中某些像素占据的连续区域面积大于指定阈值，就将其作为聚合像素。否则，作为非聚合像素。
包含了颜色的部分空间分布信息。

颜色相关图

不仅可以表示像素在图像中的占比，还可以反应不同颜色对的空间位置相关性。

图像纹路特征提取

常见的纹理特征提取方法：

统计分析法：通过对纹理图像的灰度空间分布进行计算。在木纹，沙地，草地之类的图像分析上很有效。方法简单，易于实现。
结构分析法：将图像中的纹理基元进行分离，对纹理基元的特征和空间排列规则对纹理进行表征。偏心度，面积，方向等。对砖墙，纤维等纹理排序规则比较明显的图像分析比较有效。
模型分析法：根据像素与邻域像素之间的关系建立模型。
频谱分析法（信号处理法，滤波方法）：将图像从空间域变化到邻域，计算峰值面积，相位。

统计纹理分析方法

常用的统计纹理分析方法：自相关函数，边界频率，灰度共生矩阵。
灰度共生矩阵（联合概率矩阵法）：基于图像中灰度结构重复出现的概率对图像纹理特征进行描述。本质是使用条件概率表征纹理特征，对空间上具有有种位置关系的一堆像素成对出现的概率进行统计，得到灰度共生矩阵，从灰度共生矩阵中提取有意义的统计特征对纹理进行描述。

laws纹理能量测量法

一种一阶纹理分析方法。
利用 E5L5模板可以滤出水平边缘，利用 E5S5模板可以滤出V形状，利用R5R5模板可以滤出高频点，利用L5S5模板可以滤出垂直边缘。

Gabor变换

Gabor变换具有良好的空间域与频域局部化性质，二维Gabor基函数具有与大多数哺乳动物的视觉表皮简单细胞的二维感知域模型相似的性质。
借鉴人类处理信号的特性，用包含多个Gabor滤波器的滤波器组对图像进行不同中心频率和方位的滤波处理。
Gabor变化属于加窗傅里叶变换。

局部二值模式

又称LBP，将中心像素点的灰度值作为阈值，将其邻域内的像素点的灰度值比较，从而得到二进制编码用以表述局部纹理特征。

图像形状特征提取

分为基于轮廓特征，（傅里叶描述符方法），基于区域特征，（形状无关矩方法）
形状特征：矩形度，球状性，圆形性
傅里叶描述符：单封闭曲线形状特征。曲线通过傅里叶变换得到描述该曲线的一系列傅里叶系数。计算简单，描述清晰。
形状无关矩：集合{Mjk}对于函数f(x,y)是唯一的。

图像边缘特征提取

滤波（降低噪声干扰）-> 增强（灰度值显著变化的点突出表示）-> 检测（筛选非边缘点）-> 定位（精确边缘的位置）
一阶边缘检测算子：罗伯特算子（边缘划线），索贝尔算子（沙子浮雕），prewitt算子（适用于图像边缘灰度值比较尖锐，噪声较小的图像）
二阶边缘检测算子：一阶边缘检测算子因边缘点过多，会导致边缘线过粗。可以通过去除一阶导数中的非局部最大值，就可以检测出更细的边缘，而一阶导数的局部最大值对应二阶导数的零交叉点。通过找二阶导数的零交叉点就能找到精确的边缘点。
拉普拉斯算子（各向同性，对孤立点及线端的检测效果好；边缘方向信息丢失，对噪声敏感，整体检测效果不如梯度算子）-> LoG边缘检测算子（Gauss算子对原图像进行平滑降低噪声，用Laplace算子将边缘点转化为零交叉点，通过零交叉点的检测实现边缘检测）

图像点特征提取

SUSAN算法：位于圆形窗口模板中心等待检测的像素点称为核心点。核心点邻域划分为两个区域，亮度相似核心点的核值相似区（USAN），和不相似的。
划分USAN区域-> 能量响应函数判断是否为角点-> NMS找特征点-> 剔除虚假角点

图像小波变换与多分辨率

小波变换是通过缩放母小波的宽度获得信号的频率特征，通过平移母小波获得信号的时间信息。对母小波的缩放和平移操作是为了计算小波系数。小波系数反应了小波和局部信号之间的相关程度。
小波分析：把一个信号分解为将母小波经过缩放和平移之后的一系列小波。小波是小波变换的基函数。
小波变化：经过缩放和平移的一系列小波函数替代傅里叶变换的正弦波和余弦波进行傅里叶变化。是空间（时间）和频率的局部变换，能自动适应时频信号分析的要求，从而可聚焦到信号的任意细节。
小波：在有限间隔而且其平均值为零的一种函数。

傅里叶变化和小波变化

小波：具有有限的持续时间和突变的频率和振幅；在有限的时间范围内，它的平均值为0。
小波变化：平移母小波，捕获到信号的时间信息；缩放母小波的宽度（尺度）捕获信号频率特性。获得小波分量的系数；结果为各种小波系数，反应信号时间属性和频率属性。
从时域上看相差很大的两个信号，在频域上却非常相近，傅里叶变化都得到的频域里得知某个频率在哪个时间出现。
——解决：加窗，将长时间信号分成数个较短的等长信号，然后再分别对每个窗进行傅里叶变换，从而得到频率随时间的变化（短时距傅里叶变换）
——缺陷：窗函数越宽，频率分辨率越好，时间分辨率越差
小波变化可以解决。

图像多分辨率

图像金字塔

观察图像时，通常看到的是相连接的纹理与灰度级相似的区域。如果物体的尺寸过小或者对比度不高，通常采用较高的分辨率观察，如果物体的尺度很大或者对比度很强，只需要较低的分辨率。
如果物体的尺寸有大有小，对比度时强时弱，以若干个分辨率对他们进行研究具有优势。多种分辨率层次联合起来可以称为图像金字塔。
空间金字塔的基底图像及其P个近似层形成了近似金字塔，残差输出形成了残差金字塔。

上采用和下采样和池化层

上采样：采样频率高于信号最高频率的２倍，又称为插值/内插/过采样；
下采样：采样频率低于信号最高频率的２倍，又称为抽取/欠采样。

缩小图像（或称为下采样（subsampled）或降采样（downsampled））的主要目的有两个：1、使得图像符合显示区域的大小；2、生成对应图像的缩略图。
放大图像（或称为上采样（upsampling）或图像插值（interpolating））的主要目的是放大原图像,从而可以显示在更高分辨率的显示设备上。
对图像的缩放操作将不可避免地影响图像质量。然而，确实有一些缩放方法能够增加图像的信息，从而使得缩放后的图像质量超过原图质量的。

采样层是使用 pooling的相关技术来实现的，目的就是用来降低特征的维度并保留有效信息，一定程度上避免过拟合。
但是池化的目的不仅仅是这些，它的目的是保持旋转、平移、伸缩不变形等。采样有最大值采样，平均值采样，求和区域采样和随机区域采样等。
池化也是这样的，比如最大值池化，平均值池化，随机池化，求和区域池化等

图像放大几乎都是采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。