图像处理：形态学

​ 本文的形态学仅考虑对二值图像的处理。处理多灰度级图形，使用灰度级形态学，本文不讲。

基本操作

• 二值图像：$Z^2$的子集，集合元素是二元组$(x,y)$

• 反射： B ^ = { w ∣ w = − b ,   b ∈ B } \hat B = \{ w|w=-b,\, b\in B \} B^={w∣w=−b,b∈B}，就是关于原点旋转$180°$

• 平移： ( B ) z = { c ∣ c = b + z ,   b ∈ B } (B)_z = \{ c|c=b+z,\, b \in B \} (B)z​={c∣c=b+z,b∈B}

• 补集： B c = { b ∣ b ∉ B } B^c = \{ b| b \not \in B \} Bc={b∣b​∈B}

• 结构元 (SE)：一个小集合。一般以结构重心为原点，用0表示该位置不属于SE，用1表示该位置属于SE，用-1表示该位置属于不属于SE不关心。一般的，要将结构元填充至最小矩形，例如，
  $$\left[\begin{array}{ccc}-1& 1& -1\\ 1& 1& 1\\ -1& 1& -1\end{array}\right],\left[\begin{array}{ccc}1& -1& -1\\ 1& 0& -1\\ 1& -1& -1\end{array}\right],\left[\begin{array}{ccc}0& 0& 0\\ -1& 1& -1\\ 1& 1& 1\end{array}\right]$$

• 腐蚀： A ⊖ B = { z ∣ ( B ) z ⊆ A } = { z ∣ ( B ) z ∩ A c = ∅ } A \ominus B = \{ z|(B)_z \sube A \} =\{ z|(B)_z \cap A^c = \emptyset \} A⊖B={z∣(B)z​⊆A}={z∣(B)z​∩Ac=∅}

  对二值图形做收缩、细化。
  $$\begin{array}{r}\left[\begin{array}{ccccc}0& 0& 0& 0& 0\\ 0& 1& 1& 1& 0\\ 0& 1& 1& 1& 0\\ 0& 1& 1& 1& 0\\ 0& 0& 0& 0& 0\end{array}\right]\oplus \left[\begin{array}{ccc}1& -1& -1\\ 1& 1& -1\\ 1& 1& -1\end{array}\right]\\ =\left[\begin{array}{ccccc}0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0\\ 0& 0& 1& 1& 0\\ 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0\end{array}\right]\end{array}$$
  腐蚀，仅保留完全匹配SE的位置。

• 膨胀： A ⊕ B = { z ∣ [ ( B ^ ) z ∩ A ] ⊆ A } = { z ∣ ( B ^ ) z ∩ A ≠ ∅ } A \oplus B = \{ z|[(\hat B)_z \cap A] \sube A \} = \{ z|(\hat B)_z \cap A \not = \emptyset \} A⊕B={z∣[(B^)z​∩A]⊆A}={z∣(B^)z​∩A​=∅} (注意做了反射)

  对二值图形做增长、粗化。
  $$\begin{array}{r}\left[\begin{array}{ccccc}0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0\\ 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0\end{array}\right]\oplus \left[\begin{array}{ccc}1& -1& -1\\ 1& 1& -1\\ 1& 1& -1\end{array}\right]\\ =\left[\begin{array}{ccccc}0& 0& 0& 0& 0\\ 0& 1& 0& 0& 0\\ 0& 1& 1& 0& 0\\ 0& 1& 1& 0& 0\\ 0& 0& 0& 0& 0\end{array}\right]\end{array}$$
  膨胀，在孤立点附近得到与SE相同的结构。

• 对偶性：$(A\ominus B{)}^c=A^c\oplus \hat{B}$，$(A\oplus B{)}^c=A^c\ominus \hat{B}$

• 在做运算之前，都需要在$A$上下左右填充至少$B$宽度的背景，保证结果正确。

高级操作

• 开操作：$A\circ B=(A\ominus B)\oplus B$，先腐蚀后膨胀

  将结构元B视作圆球，那么开操作就是圆球B在图形A内部边界滚动所能达到的所有位置的内部： A ∘ B = ∪ z { ( B ) z ∣ ( B ) z ⊆ A } A \circ B = \cup_z \{ (B)_z|(B)_z \sube A \} A∘B=∪z​{(B)z​∣(B)z​⊆A}

• 闭操作：$A\bullet B=(A\oplus B)\ominus B$，先膨胀后腐蚀

  将结构元B视作圆球，那么闭操作就是圆球B在图形A外部边界滚动所能达到的所有位置的内部： A ∘ B = ∪ z { ( B ) z ∣ ( B ) z ∩ A ≠ ∅ } A \circ B = \cup_z \{ (B)_z|(B)_z \cap A \not = \empty \} A∘B=∪z​{(B)z​∣(B)z​∩A​=∅}

• 开操作，断开直径小于结构元直径的桥接，去除背景里的亮噪声，让凸棱角圆滑

• 闭操作，弥合距离小于结构元直径的间隙，去除图形里的暗噪声，让凹棱角圆滑

• 先执行开操作，再执行闭操作：去除二值图像里的椒盐噪声 (同时会稍微破坏原始图形)

• 若结构元是不含0的方块，性质：

  • $A\circ B\subseteq A\subseteq A\bullet B$
  • 若$C\subseteq D$，那么：$C\circ B\subseteq D\circ B,C\bullet B\subseteq D\bullet B$
  • $(A\circ B)\circ B=A\circ B$，$(A\bullet B)\bullet B=A\bullet B$

• $A-A\circ B$，就是宽度小于$B$直径的桥接、亮噪声、凸棱角。

• $A\bullet B-A$，就是宽度小于$B$直径的间隙、暗噪声、凹棱角。

• 击中或击不中变换 (hit or miss)：$A⊛B=(A\ominus B_1)\cap (A^c\ominus B_2)$，其中$B=(B_1,B_2),B_1\cap B_2=\varnothing$

  也就是说，$B_1$完全命中$A$，同时$B_2$完全不命中$A$

• 假如$B_2=W-B_1$，$W$是略大于$B_1$的小窗口，则$A\otimes B$在$A$中定位出$B_1$图形的位置 (要求每个图形都被1像素宽的背景包围)。

• 一般我们仅对结构元的模式匹配感兴趣，而不考虑背景运算。令$B_2=\varnothing$，则$A⊛B$弱化为$A\ominus B_1$，只有击中 (匹配前景)，没有不击中 (匹配背景)。

• 根据对偶性，$A⊛B=(A\ominus B_1)\cap (A\oplus {\hat{B}}_2{)}^c$

形态学算法

• 边界提取：$\beta (A)=A-(A\ominus B)$，用腐蚀掉的部分作为边界

• 孔洞填充：$X_0$是所有待填充孔洞中的某一点，做带约束的膨胀$X_k=(X_{k-1}\oplus B)\cap A^c$，迭代到$X_k=X_{k-1}$ (填满所有的孔洞)，结果为$X_k\cup A$

• 提取连通分量：$X_0$是所有待提取连通分量中的某一点，做带约束的膨胀$X_k=(X_{k-1}\oplus B)\cap A$，迭代到$X_k=X_{k-1}$ (包含所提取的连通分量)，结果为$X_k$

• 若集合$A$内任意两点间的直线段都在$A$内部，则称$A$是凸形的。任意集合$S$的凸壳$H$是包含$S$的最小凸集，$H-S$叫做凸缺。

• 生成凸壳：做关于4个结构元的迭代，$X_k^i=(X_k^i⊛B^i)\cup A,X_0^i=A$，迭代到$X_k^i=X_{k-1}^i$

  其中的击中或不击中变换$⊛$仅对前景做匹配。

  结构元为：
  $$\begin{array}{r}{B}^1=\left[\begin{array}{ccc}1& -1& -1\\ 1& 0& -1\\ 1& -1& -1\end{array}\right](让图形A向右凸出)\end{array}$$
  以及它的$90°,180°,270°$旋转。
  凸壳近似为：$C(A)=({\cup }_i{X}_k^i)\cap H$，其中$H$是包含$A$的最小矩形。

• 细化：$A\otimes B=A-(A⊛B)=A\cap (A⊛B{)}^c$；对于结构元序列，令 A ⊗ { B i } = A ⊗ B 1 ⊗ ⋯ ⊗ B n A \otimes \{B^i\} = A \otimes B^1 \otimes \cdots \otimes B^n A⊗{Bi}=A⊗B1⊗⋯⊗Bn

  其中的击中或不击中变换$⊛$仅对前景做匹配。

  常用的8个结构元为：
  $$\begin{array}{r}{B}^1=\left[\begin{array}{ccc}0& 0& 0\\ -1& 1& -1\\ 1& 1& 1\end{array}\right](匹配图形A上方的厚边界)\\ B^2=\left[\begin{array}{ccc}-1& 0& 0\\ 1& 1& 0\\ 1& 1& -1\end{array}\right](匹配图形A右上的厚边界)\end{array}$$
  以及它们的$90°,180°,270°$旋转。

  X 0 = A ,   X k = X k − 1 ⊗ { B i } X_0 = A,\,X_k = X_{k-1} \otimes \{B^i\} X0​=A,Xk​=Xk−1​⊗{Bi}，迭代到$X_k=X_{k-1}$，细化结果为$X_k$，它不含$2\times 2$的全1方块，并保持连通性不变。

• 粗化：$A\odot B=A+(A⊛B)=A\cup (A⊛B)$；对于结构元序列，令 A ⊙ { B i } = A ⊙ B 1 ⊙ ⋯ ⊙ B n A \odot \{B^i\} = A \odot B^1 \odot \cdots \odot B^n A⊙{Bi}=A⊙B1⊙⋯⊙Bn

  常用的8个结构元为：
  $$\begin{array}{r}{B}^1=\left[\begin{array}{ccc}1& 1& 1\\ -1& 0& -1\\ 0& 0& 0\end{array}\right](匹配图形A下方的细边界)\\ B^2=\left[\begin{array}{ccc}-1& 1& 1\\ 0& 0& 1\\ 0& 0& -1\end{array}\right](匹配图形A左下的细边界)\end{array}$$
  以及它们的$90°,180°,270°$旋转。

  X 0 = A ,   X k = X k − 1 ⊙ { B i } X_0 = A,\,X_k = X_{k-1} \odot \{B^i\} X0​=A,Xk​=Xk−1​⊙{Bi}，迭代到$X_k=X_{k-1}$，粗化结果为$X_k$

• 用细化实现粗化：对$A^c$做细化，把细化结果求补，再去掉孤立点，作为粗化结果。

• 骨架：令$S_k(A)=(A\ominus kB)-(A\ominus kB)\circ B$，$A\ominus kB$表示连续腐蚀。 K = max ⁡ { k ∣ ( A ⊖ k B ) ≠ ∅ } K = \max\{k|(A \ominus kB) \not = \empty\} K=max{k∣(A⊖kB)​=∅}，骨架为$S(A)={\cup }_{k=0}^K{S}_k(A)$

• 可以从骨架完全恢复图形：$A={\cup }_{k=0}^K[S_k(A)\oplus kB]$

• 端点检测：$X^i=A⊛B^i$，其中$A$是某图形的细化结果。

  常用的8个结构元为：
  $$\begin{array}{r}{B}^1=\left[\begin{array}{ccc}-1& 0& 0\\ 1& 1& 0\\ -1& 0& 0\end{array}\right](匹配图形A的右侧端点)\\ B^2=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 0\end{array}\right](匹配图形A的右下端点)\end{array}$$
  以及它们的$90°,180°,270°$旋转。

• 测地膨胀：对于二值图像$F\subseteq G$，选取$B$，定义为 $D_G^1(F):=(F\oplus B)\cap G$，$D_G^n(F):=D_G^1(D_G^{n-1}(F))$；膨胀结果不大于$G$；$G$拥有若干连通分量。

• 测地腐蚀：对于二值图像$F,G$，选取$B$，定义为 $E_G^1(F):=(F\ominus B)\cup G$，$E_G^n(F):=E_G^1(E_G^{n-1}(F))$；腐蚀结果不小于$G$

• 裁剪：对于某图形的细化结果$A$，令 X 1 = A ⊗ k { B i } X_1 = A \otimes k\{B^i\} X1​=A⊗k{Bi}，使用端点检测的结构元序列 { B i } \{B^i\} {Bi}，做$k$次细化，可将长度小于等于$k$的毛刺消除，但也消除了长度大于$k$的线段的线头部分。令$X_2={\cap }_i[X_1⊛B^i]$，可得到所有的端点。再$X_3=D_A^k(X_2)$，从端点开始进行$k$次测地膨胀，以恢复长度大于$k$的线段的线头部分。最后的裁剪结果为$X_1\cup X_3$，去除了毛刺，也保留了主要线段。

• 形态学重建：

  膨胀的形态学重建：$R_G^D(F):=D_G^k(F),D_G^k(F)=D_G^{k+1}(F)$

  腐蚀的形态学重建：$R_G^E(F):=E_G^k(F),E_G^k(F)=E_G^{k+1}(F)$

• 重建开操作：$O_R^n(F)=R_F^D(F\ominus nB)$；先n次腐蚀，再测地膨胀到稳定状态。用途：提取包含长竖线的英文字母 (L,B,P,T,…)，$B$是长竖线形状的全1阵列。

• 重建闭操作：$C_R^n(F)=R_F^E(F\oplus nB)$；先n次膨胀，再测地腐蚀到稳定状态。用途：$B$是全1方阵，弥合图形内的小于$B$直径的小孔洞，并保持大于$B$直径的孔洞轮廓以及图形外轮廓。

• 提取边界图形：二值图像$F$，那么$H=R_F^D(E)$就是所有触碰到图像边缘的连通分量，其中$E$是$F$最外侧轮廓 (非外侧轮廓的位置都为0)

• 自适应的孔洞填充：包含孔洞的二值图像$F$，那么$H=[R_{F^c}^D(E){]}^c$就是填充结果，其中$E$是$F$最外侧轮廓的补 (非外侧轮廓的位置都为0)

• 粒度检测：对于包含若干不同直径圆形的图像，我们使用直径从小到大的结构元 { B i } \{B^i\} {Bi}，对图像做开操作$X^i=A\circ B^i$，计算$X^i$的灰度和 (开操作的灰度和，称作表面区域，随结构元增大而减小)。做出"结构元直径-表面区域"的图像，然后计算它的一阶差分的图像；一阶差分中的峰值处，对应图像里的主要粒度。