国科大数字图像处理（复习与整理）

1、证明一个系统是线性系统

如二维连续傅里叶变换
$$F(u,v)={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }f(x,y)e^{2\pi j(ux+vy)}dxdy$$
证明：
$$\begin{array}{rl}& {\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }(K_a{f}_a(x,y)+K_b{f}_b(x,y))e^{2\pi j(ux+vy)}dxdy\\ & =K_a{\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }{f}_a(x,y)e^{2\pi j(ux+vy)}dxdy+K_B{\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }{f}_b(x,y)e^{2\pi j(ux+vy)}dxdy\\ & =K_a{F}_a(u,v)+K_b{F}_b(u,v)\end{array}$$得证。

其他一些属于：
1、参数固定系统(fixed-parameter system)：对于任意的$x_0$，有
$$g(x+x_0)=H[f(x+x_0)]$$
当x表示时间时，即为时不变系统。
2、因果系统(causal system)：当且仅当输入信号时，系统才会响应，即对于$x_0$，如果有$x<x_0$，则
$$f(x)=0,g(x)=H[f(x)]=0$$
3、稳定系统(stable system)
$$|f(x)|<K,|g(x)|<cK$$

2、证明函数卷积的傅里叶变换等于函数傅氏变换后的乘积

即证明：
$$\begin{gathered} \mathcal{F}[f(x)\star g(x)]=F(u)G(u) \\ \mathcal{F}[f(x)g(x)]=F(u)\star G(u) \end{gathered}$$
证明：
$$\begin{array}{rl}F[f(x)\star g(x)]& ={\int }_{-\infty }^{+\infty }\left[{\int }_{-\infty }^{+\infty }f(\alpha )g(x-\alpha )d\alpha \right]e^{-2\pi jux}dx\\ & ={\int }_{-\infty }^{+\infty }f(\alpha )\left[{\int }_{-\infty }^{+\infty }g(x-\alpha )e^{-2\pi jux}dx\right]d\alpha \\ & ={\int }_{-\infty }^{+\infty }f(\alpha )\left[G(u)e^{-2\pi ju\alpha }\right]d\alpha \\ & =G(u){\int }_{-\infty }^{+\infty }f(\alpha )e^{-2\pi ju\alpha }d\alpha \\ & =G(u)F(u)\end{array}$$

3、采样定理与混叠

采样：利用单位脉冲函数进行采样，设原函数为$f(x)$，采样后的函数为$\tilde{f}(x)$
$$\begin{gathered} \tilde{f}(x)=f(t)S_{\Delta T}(t)=\sum _{n=-\infty }^{+\infty }f(t)\delta (t-n\Delta T) \\ \tilde{F}(\mu )=\frac{1}{\Delta T}\sum _{n=-\infty }^{+\infty }F(\mu -\frac{n}{\Delta T}) \end{gathered}$$

采样定理：如果以超过信号最高频率2倍的取样率来得到样本，那么连续带限信号能够完全由其样本集合复原。记：
$$\frac{1}{\Delta T}>2{\mu }_{max}$$
混叠：指取样后不同信号变得无法区分的取样现象
空间采样：必须保证图像细节占两个像素

4、直方图均衡化

步骤：
①、统计灰度值的频率
$$p_r(r_k)=\frac{n_k}{MN}$$
②、按照灰度值大小进行排序
③、对每个灰度值对于的像素进行变换
$$s=T(r)=(L-1){\int }_0^r{p}_r(w)dw$$
作用：增强图像对比度。

理论上来说，当灰度值连续时一定可以得到均匀的直方图，但图像灰度是离散的。另外，只有当图像包含所有灰度值时均衡化之后才能重建图像。

---

以下内容来自chatGPT:
图像直方图均衡化是一种图像处理技术，通过改变图像的亮度分布来增强图像的对比度。下面是直方图均衡化的一般步骤：

1、计算图像的直方图。
2、计算图像的累积分布函数。
3、根据累积分布函数计算每个像素的新值。
4、将每个像素的新值映射到图像的灰度级上。
5、重新绘制图像。

---

第一节课知识点

1、二维图像：是一个像素阵列、是一个矩阵、是一个曲面（经过平滑处理）。
2、图像处理的重要性：①改善图像视觉效果，便于人们理解；②为储存、传输和表示对图像进行处理便于机器理解；③获得图像底层视觉；
3、光子能力普朗克定律：$E=hv=h\frac{c}{\lambda }$，频率越高，能力越大，可见光波长范围约为400-700nm（紫-红）。
4、图像格式：
①PBM:portable bitmap format 二值图像
②PGM:portable graymap format 灰度图像
③PPM:portable pixmap format 像素图像（彩色）
5、常用成像设备：CCD（电荷耦合器件）、CMOS（互补金属氧化物半导体）
6、采样与量化：空间离散化（由物理像素决定）其反应光子的分布、灰度离散化（由模拟-数字转换决定）其反应光子的数量。
7、像素的位深度：8比特位深度，灰度值范围为0~255。
8、彩色模型：
①RGB模型：即red/ green/ blue三原色（光的三原色）
②CYM模型：即cyan/ yellow/ magenta（颜料三原色）
③CYMK模型：在CYM基础上加black，原因是CYM产生的黑色不纯。适合于打印。
③HSI模型：即hue/ saturation/ intensity（色调、饱和度、强度）H控制颜色成分，S控制颜色占比，I控制颜色亮度。

第二节课知识点

1、像素运算：
①算术运算：加减乘除
②集合运算：交并补差
③逻辑运算：与或非
④集合变换：复制、缩放、旋转、平移、垂直剪切、水平剪切
$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right]=A\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$
$${\left[\begin{array}{ccc}{c}_x& 0& 0\\ 0& c_y& 0\\ 0& 0& 1\end{array}\right]}_{缩放}{\left[\begin{array}{ccc}cos\theta & -sin\theta & 0\\ sin\theta & cos\theta & 0\\ 0& 0& 1\end{array}\right]}_{旋转}{\left[\begin{array}{ccc}1& 0& t_x\\ 0& 1& t_y\\ 0& 0& 1\end{array}\right]}_{平移}{\left[\begin{array}{ccc}1& s_v& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]}_{剪切v}{\left[\begin{array}{ccc}1& 0& 0\\ s_h& 1& 0\\ 0& 0& 1\end{array}\right]}_{剪切h}$$

第三节课知识点

1、点扩散函数：点扩散函数psf(point spread function)是成像系统对点光源的响应，一般复杂图像可以表示为一个真实图像与psf的卷积。
T ( x , y ) = O ( x , y ) ⋆ p s f ( x , y ) F { I ( X , Y ) } = F { O ( x , y ) } ⋅ F { p s f ( x , y ) } = F { O ( x , y ) } ⋅ O T F ( ⋅ ) T(x,y)=O(x,y)\star psf(x,y) \\F\{I(X,Y)\}=F\{O(x,y)\}\cdot F\{psf(x,y)\}=F\{O(x,y)\}\cdot OTF(\cdot) T(x,y)=O(x,y)⋆psf(x,y)F{I(X,Y)}=F{O(x,y)}⋅F{psf(x,y)}=F{O(x,y)}⋅OTF(⋅)
$OTF$被称作光学传递函数，是$psf$的傅氏变换。
2、图像模型：
①$g(x,y)=f(x,y)\star h(x,y)+\eta (x,y)$，指图像$f(x,y)$经过衰减和加噪声变成$g(x,y)$。
②$f(x,y)=i(x,y)r(x,y)c(x,y)$，$i(0\to \infty )$为光照函数，$r(0\to 1)$为反射函数，$c(0\to 1)$为系数。
3、图像空间域滤波：一个图像滤波器可以描述为一个线性系统（卷积就是线性运算）
①均值滤波：窗口$(W)$越大，高频信号衰减越快。
②高斯滤波：高斯函数连续可导、可分、傅氏变换任为高斯函数（不会出现振铃现象）

4、图像频率域滤波：
①理想低通滤波器ILPF（有振铃现象）
②高斯低通滤波器GLPF
③巴特沃斯低通滤波器BLPF（阶数越高越接近ILPF，故高阶时会导致出现振铃现象）

第四节课知识点

4、图像的二维离散傅氏变换：
二维连续傅里叶变换：
$$\begin{gathered} F(u,v)={\int }_{-\infty }^{+\infty }f(t,z)e^{-j2\pi (ut+vz)}dtdz \\ f(t,z)={\int }_{-\infty }^{+\infty }F(u,v)e^{j2\pi (ut+vz)}dudv \end{gathered}$$二维离散傅里叶变换：
$$\begin{gathered} F(u,v)=\sum _{x=0}^{M-1}\sum _{y=0}^{N-1}f(x,y)e^{-j2\pi (ux/M+y/N)} \\ f(x,y)=\frac{1}{MN}\sum _{u=0}^{M-1}\sum _{v=0}^{N-1}F(u,v)e^{j2\pi (ux/M+y/N)} \end{gathered}$$
①频谱(sprctrum)：$|F(u,v)|=[R^2+I^2{]}^{1/2}$
②功率谱(power sprctrum)：$P(u,v)=|F(u,v){|}^2$
③离散傅里叶变换的卷积（注意共轭）：
$$\begin{gathered} \mathcal{F}[f(x,y)\star g(x,y)]=F^{\ast }(u,v)G(u,v) \\ \mathcal{F}[f^{\ast }(x,y)g(x,y)]=F(u,v)\star G(u,v) \end{gathered}$$
5、图像的二维离散傅氏逆变换：
$$\begin{gathered} f(x,y)=\frac{1}{MN}\sum _{u=0}^{M-1}\sum _{v=0}^{N-1}F(u,v)e^{j2\pi (ux/M+y/N)} \\ \Downarrow \\ MN{f}^{\ast }(x,y)=\sum _{u=0}^{M-1}\sum _{v=0}^{N-1}{F}^{\ast }(u,v)e^{-j2\pi (ux/M+y/N)} \end{gathered}$$
可以利用傅里叶变换计算傅里叶逆变换。

6、傅里叶变换的中心化：
$$f(x,y)(-1{)}^{x+y}⟺F(u-M/2,v-N/2)$$
7、离散傅里叶变换时间复杂度：
二维dft时间复杂度：$(MN{)}^2$
二维dft（行列拆分）时间复杂度：$2MN$
二维fft时间复杂度：$MNlo{g}_2(MN)$

8、经典图像滤波算子：
①拉普拉斯算子
$${▽}^{2}f(x,y)=f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)$$
②Roberts算子：$$\left[\begin{array}{cc}-1& 0\\ 0& 1\end{array}\right]\left[\begin{array}{cc}0& -1\\ 1& 0\end{array}\right]$$

③Sobel算子：$$\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$$
④Prewitt算子：$$\left[\begin{array}{ccc}-1& 0& 1\\ -1& 0& 1\\ -1& 0& 1\end{array}\right]\left[\begin{array}{ccc}-1& -1& -1\\ 0& 0& 0\\ 1& 1& 1\end{array}\right]$$
⑤Scharr算子：$$\left[\begin{array}{ccc}-3& 0& 3\\ -10& 0& 10\\ -3& 0& 3\end{array}\right]\left[\begin{array}{ccc}-3& -10& -3\\ 0& 0& 0\\ 3& 10& 3\end{array}\right]$$

第五节课知识点

1、采样定理示例：
$$单个像素对于实际物体尺寸=像素尺寸\times 放大倍数=像素尺寸\times \frac{与物体距离}{焦距}$$
数字孔径Numerical aperture (NA)：
$$NA=n\cdot sin(\alpha )$$其是一个衡量元件光聚集能力的物理量，其中$n$是介质折射率，$\alpha$是光从透镜光瞳射出的半锥角。
$F\#$也是衡量镜头光通量的指标，其定义为：
$$F\#=\frac{f}{D}$$其中$f$为焦距，$D$为直径，由几何关系可以得到：$$\alpha =arctan(\frac{D}{2f})$$空气的折射率近似为$n=1$，则可以推导出：$$NA=sin(arctan(\frac{1}{2F\#}))\approx \frac{1}{2F\#}$$分辨率的计算式为(Rayleigh limit)：$$D=\frac{0.61\lambda }{NA}$$由上面推导可以看出，图像分辨率只与光学系统本身相关，与像素、放大倍数等无关。如果分辨率大于两倍的单个像素尺寸，则说明满足空间采样频率要求（采样频率主要由放大倍数决定），即一个分辨率内至少需要采样两次才能保证图像质量。

2、不同的频率域滤波器：
①Lowpass filter 低通
②Highpass filter 高通
③Bandreject filter 带阻（高通加低通）
④Bandpass filter 带通

3、正交变换：

4、距离变换：
①欧几里得(Euclidean)距离 $D=\sqrt{(x_2-x_1{)}^2+(y_2-y_1{)}^2}$
②曼哈顿(Manhattan)距离（街区距离） $D=\left|x_2-x_1\right|+\left|y_2-y_1\right|$
③切比雪夫(Chebyshev)距离 （棋盘距离）$D=max(\left|x_2-x_1\right|,\left|y_2-y_1\right|)$
④豪斯多夫(Hausdorff)距离 D = m a x { s u p x ∈ X   i n f y ∈ Y   d ( x , y ) , s u p y ∈ Y   i n f x ∈ X   d ( x , y ) } D=max\{\mathop{sup}\limits_{x\in X}\,\mathop{inf}\limits_{y\in Y}\,d(x,y),\mathop{sup}\limits_{y\in Y}\,\mathop{inf}\limits_{x\in X}\,d(x,y)\} D=max{x∈Xsup​y∈Yinf​d(x,y),y∈Ysup​x∈Xinf​d(x,y)}

二值图像距离变换对噪声非常敏感。

第六节课知识点

1、图像的特征值（奇异值）分解：
特征值分解$A=PD{P}^{-1}$，奇异值分解$A=U\Sigma V^T$，其中有：$$A\in R^{n\times m}，\Sigma \in R^{n\times m}，U{U}^T=I_{n\times n}，V^{T}V=I_{m\times m}$$对一个图像$B$左乘$C=AB$相当于做旋转-拉伸-旋转三次变换，即：$C=U\Sigma V^{T}B$。

图像的SVD逼近：
$$\begin{array}{rl}A& =U\Sigma V^T\\ & =\left[u_1,\cdots ,u_r\right]\left[\begin{array}{ccc}{\sigma }_1& & \\ & \ddots & \\ & & {\sigma }_r\end{array}\right]\left[\begin{array}{c}{v}_1^T\\ ⋮\\ v_r^T\end{array}\right]\\ & =u_1{\sigma }_1{v}_1^T+\cdots +u_r{\sigma }_r{v}_r^T\\ & =\sum _{i=1}^r{u}_i{\sigma }_i{v}_i^T\\ & =\sum _{i=1}^r{A}_i\end{array}$$由此可以看出，图像可以看作秩为1的矩阵加权和。应用：图像逼近、压缩、去噪

2、图像的空间描述：
图像的邻接性（4邻接、8邻接）、连通性（4连通、8连通、混合m连通）、前景、背景、边界。
图像边界跟踪算法。。。

3、图像的统计描述：
对于$i\to p(i)$，有
①均值(mean)： $\sum ip(i)$
②方差(variance)： $\sum (i-\mu {)}^{2}p(i)$
③偏度(Skewness)： $\sum (i-\mu {)}^{3}p(i)$
④峰度(Kurtosis)： $\sum (i-\mu {)}^{4}p(i)$
⑤均匀度(uniformity)： $\sum p^2(i)$
⑥交叉熵(entropy)： $\sum p(i)lo{g}_{2}p(i)$

4、随机场用于图像分割：
马尔可夫随机场
吉布斯随机场
条件随机场
高斯随机场

5、图像的图表示：

第七节课知识点

1、图像增强：
①目的：采样一系列技术去改善图像的视觉效果，或者将图像转换成一种更适合人或机器进行分析和处理的形式，例如有选择地突出感兴趣的信息，抑制不需要的信息，提高图像的使用价值。
②方法：
灰度变换
1、线性变换（可以扩大灰度值范围，拉伸对比度）
2、分段线性变换（抑制和突出部分区域）
3、反转变换$s=L-r$
4、对数变换
5、指数变换
6、伽马变换$s=c{r}^{\gamma }$
直方图调整法
1、均衡化
2、规定化
①对原始图像做直方图均衡化处理
②按照希望得到的图像的灰度概率密度函数$p_z(z)$，求得变换函数$G(z)$；
③用步骤1得到的灰度级s做逆变换$z=G^{-1}(s)$。
经过以上处理得到图像的灰度级将具有规定的概率密度函数$p_z(z)$。
模板运算
模板保持不变时即为卷积运算。
1、均值滤波
改进：
①超限像素平滑法
②灰度k近邻平均法
③最大均匀性平滑
④有选择保边缘平滑法

2、中值滤波（非线性）对脉冲干扰和椒盐噪声抑制效果好。

伪彩色增强
1、密度分割法
2、灰度级彩色变换（进行红变换、绿变换、蓝变换然后合成）
3、频率域伪彩色增强：对原灰度图像中的不同频率分量赋予不同颜色

彩色图像增强
1、假彩色增强：对原色彩通过映射变成新的颜色，使之呈现出与人眼色觉相匹配的颜色。
2、真彩色增强：将RGB分量转换成ISH分量，利用灰度增强方法对ISH某个分量进行增强，再将结果转为RGB。

图像代数运算
对两幅图像进行加减乘除操作
1、加：消除随机加性噪声（噪声与图像信号强度不相关）、生成图像叠加效果；
2、减：背景消除、动态监测、运动检测；
3、乘：用模板对图像进行处理，例如部分掩盖；

第八节课知识点

1、膨胀：
A ⊕ B = { x ∣ [ ( B ^ ) x ∩ A ] ≠ ϕ } A\oplus B=\{x|[(\hat B)_x\cap A]\ne \phi \} A⊕B={x∣[(B^)x​∩A]​=ϕ}A被B膨胀是所有位移x的集合，B的映射与A至少有一个元素是重叠的。
作用：
1）使目标扩展
2）平滑物体边界（背景变成目标）
3）连接狭窄断开
4）去除小孔

2、腐蚀：
A ⊖ B = { x ∣ ( B ) x ⊆ A } A\ominus B=\{x|(B)_x\subseteq A \} A⊖B={x∣(B)x​⊆A}A被B腐蚀是所有位移x的集合，其中B平移x后B仍包含于A中。
作用：
1）使目标收缩
2）平滑物体边界（目标变成背景）
3）断开狭长连接
4）去除细长突出物

3、开运算：
$$A\circ B=(A\ominus B)\oplus B$$先腐蚀后膨胀。同一结构元对图像做多次开运算只有一次有效。
4、闭运算：
$$A\bullet B=(A\oplus B)\ominus B$$先膨胀后腐蚀。开运算与闭运算可以在不明显改变目标面积时平滑目标边缘。

先做开运算后做闭运算可以构成一个噪声滤波器，如对一张指纹图像来说：
腐蚀（去背景噪声）——膨胀（恢复指纹粗细）——膨胀（连接断线）——腐蚀（恢复粗细）

5、击中或击不中变换：

形态学的应用
1、边界提取：
$$\beta (A)=A-(A\ominus B)$$即A减去A的腐蚀。

2、区域填充：
迭代算法：
$$X_{k+1}=(X_k\oplus B)\cap A^{C}k=1,2,3\cdots$$

3、连通分量提取：
迭代算法：
$$X_{k+1}=(X_k\oplus B)\cap Ak=1,2,3\cdots$$

4、凸包：
凸包简单来说是指能包住图像的凸集。

5、细化：
A ⊗ B = A − ( A ⊛ B ) { B } = { B 1 , B 2 , ⋯   , B 8 } A ⊗ { B } = ( ( ⋯ ( ( A ⊗ B 1 ) ⊗ B 2 ) ⋯   ) ⊗ B n ) A\otimes B=A-(A\circledast B)\\ \{B\}=\{B^1,B^2,\cdots,B^8\}\\ A\otimes \{B\}=((\cdots((A\otimes B^1)\otimes B^2)\cdots)\otimes B^n) A⊗B=A−(A⊛B){B}={B1,B2,⋯,B8}A⊗{B}=((⋯((A⊗B1)⊗B2)⋯)⊗Bn)

6、粗化：
A ⊙ B = A ∪ ( A ⊛ B ) { B } = { B 1 , B 2 , ⋯   , B 8 } A ⊙ { B } = ( ( ⋯ ( ( A ⊙ B 1 ) ⊙ B 2 ) ⋯   ) ⊙ B n ) A\odot B=A\cup (A\circledast B)\\\{B\}=\{B^1,B^2,\cdots,B^8\}\\ A\odot \{B\}=((\cdots((A\odot B^1)\odot B^2)\cdots)\odot B^n) A⊙B=A∪(A⊛B){B}={B1,B2,⋯,B8}A⊙{B}=((⋯((A⊙B1)⊙B2)⋯)⊙Bn)

7、骨架：
主要用到腐蚀与开运算
S ( A ) = ⋃ k = 0 K S k ( A ) S k ( A ) = ( A ⊖ k B ) − ( A ⊖ k B ) ∘ B K = m a x { k ∣ ( A ⊖ k B ) ≠ ϕ } S(A)=\bigcup_{k=0}^{K}S_k(A) \\ S_k(A)=(A\ominus kB)-(A\ominus kB)\circ B\\ K=max\{k|(A\ominus kB)\ne \phi \} S(A)=k=0⋃K​Sk​(A)Sk​(A)=(A⊖kB)−(A⊖kB)∘BK=max{k∣(A⊖kB)​=ϕ}其中$(A\ominus kB)$表示连续做k次腐蚀运算。
恢复：
$$A=\bigcup _{k=0}^K(S_k(A)\oplus kB)$$
变体：
做腐蚀操作时，不立即删除像素，只打标记，在不破坏连通性时将标记点删除。

距离变换
串行距离算法：

基于距离变换的骨架提取：
①求二值图像的边界
②对二值图像求取距离变换
③求距离变换图中的局部极大值
④落入原二值图像中的局部极大值就是图像的骨架

8、裁剪：

第九节课知识点

考完了……
寄了，有一些知识点没复习到，比如说采样定理的证明、巴特沃斯滤波器公式、自适应中值滤波等等。（下次老师说不用背公式，谁信谁天真）