医学图像处理增强和变换的一些重点总结

Medical Image Processing

Chapter1 introduction-application

Digital Image:

• A numerical representation of an object(may itself be an image).

• In other way:

  • An image $\to f(x,y)$,a 2-D function
    • $x,y$ $\to$ spatial (plane) coordinates
    • $f$$\to$ intensity(gray level) at $(x,y)$
  • A digital image$\to$ $x,y,f$ are all finite, discrete quantities

• In a digital image, $f(x,y)$ are called elements , also referred as :

  picture elements, image elements, $pels$, $pixels$

The definition of Digital Image Processing:

• Subjecting a sampled,quantized function of two dimensions that has been generatedby optical means,sampled in an equally spaced rectangular grid pattern,and quantized in equal intervals of amplitude,to a process.

Classification

electromagnetic (EM) energy spectrum

• Gamma-Ray Imaging

• X-ray Imaging

• Imaging in the Ultraviolet Band

• Imaging in the Visible and Infrared Band

• Imaging in the Microwave Band

• Imaging in the Radio Band

• Images from Other Modalities

  • Acoustic Imaging
  • Electron Microscopy
  • Computer-Generated Images

• Application

  • Haze removal
  • Enhancement
  • High resolution reconstruction
  • Pseudo-color
  • Restoration
  • Face recognition
  • Image guided surgery
  • with deep learning

---

Chapter2-1 fundamental- algebra operator

Basic operator

• Point operator-algebra operation

  $$g(x,y)=T[f(x,y)]$$

  $T[\cdot ]isexplicitfunction.Forexample,lineartransformationfunction.$

  $$g(x,y)=a\ast f(x,y)+b$$

  ​

  $a,bareconst.$

  • 点运算可以理解为对图像的所有像素都进行同样的操作，而且这种操作不依赖于图像中其它点的值。
  • 对像素值进行的点运算常用于图像处理、对比度调整、阈值化处理（分割）
  • Linear operation
  • nonlinear operation
  • Binaryzation
  • 改变图像像素坐标的几何变换——如图像平移、旋转等也都符合点运算的上述定义。

• Histogram

  • 作用于像素灰度值的点运算会改变图像的直方图。如果在已知输入图像直方图和灰度变换函数形式的前提下，能够计算或估计输出图像直方图，就可以设计点运算，使输出图像具有特定形式的输出直方图。

    设输出图像$A(x,y)$的直方图为$H_A(D)$，经过函数$f(D)$所定义的点运算后，产生输出图像$B(x,y)$。

    $$\begin{array}{rl}{D}_B& =f(D_A)\\ D_A& =f^{-1}(D_B)\\ {\int }_{D_B}^{D_B+△D_B}{H}_B(D)dD& ={\int }_{D_A}^{D_A+△D_A}{H}_A(D)dD\\ H_B(D_B)△D_B& =H_A(D_A)△D_A\\ H_B(D_B)& =\frac{H_A(D_A)}{△D_B/△D_A}\\ D_A\to 0时，上式求极限得：& \\ H_B(D_B)& =\frac{H_A(D_A)}{d{D}_B/d{D}_A}\\ 代入D_B& =f(D_A)得,\end{array}$$

    ​ 输出直方图：$$H_B(D_B)=\frac{H_A[f^{-1}(D)]}{f^{{}^{\prime }}[f^{-1}(D)]}$$

• Adding

  • 通过对静止目标的多幅图像进行叠加平均，可以降低图像中的加性噪声的影响。
    ​ $$D_i(x,y)=S(x,y)+N_i(x,y)$$
  • 来自于同一个噪声源的M幅图像叠加后的信噪比为：
    ​ $$\overline{SNR}=\sqrt{\overline{P}(x,y)}=\sqrt{M}\sqrt{P(x,y)}$$

• Subtraction

  • 背景亮度校正
  • 移除背景

• Image Averaging

  直接在空间域上对图像进行平滑处理。该方法便于实现，计算速度快，结果也比较令人满意。

  1. 简单局部平均法
     设有一幅数字有噪图像：$g(x,y)=f(x,y)+n(x,y)$,经过局部平均处理后，得到平滑图像为：
     $$\begin{array}{rl}\overline{g}(x,y)& =\frac{1}{M}\sum _{(i,j)\in S}g(i,j)\\ & =\frac{1}{M}\sum _{(i,j)\in S}f(i,j)+\frac{1}{M}\sum _{(i,j)\in S}n(i,j)\end{array}$$

     参数说明：

     $f(x,y)$为原始图，$n(x,y)$为噪声
     S:点$(x,y)$邻域内的点集
     M:S内总点数

     局部平均的基本假设：

     • 图像由许多灰度恒定的小块组成。
     • 图像上的噪声是加性的、均值为0，且与图像信号互不相关。

     处理结果：

     • 平滑后噪声方差为处理前的$\frac{1}{M}。$
     • 简单局部平均会使图像模糊，特别是轮廓边缘不清晰。

2. Averaging-weighted summation
   $$g(x,y)=\sum _{(i,j)\in S}w(i,j)[f(i,j)+n(i,j)]$$

   其中$w(i,j)$为权值，且${\sum }_{(i,j)\in S}w(i,j)=1$

   $$\begin{array}{rl}\overline{g}(x,y)& =\frac{1}{M}\sum _{i=1}^M[f_i(x,y)+n_i(x,y)]\\ & =f(x,y)+\frac{1}{M}\sum _{i=1}^M{n}_i(x,y)\end{array}$$

   信噪功率比增加M倍，噪声方差减小M倍

• Convolution

  • 一维卷积

    $$\begin{array}{rl}f(i)\ast g(i)& =\sum _{j}f(j)g(i-j)\\ & =\sum _{j}f(i-j)g(j)\end{array}$$

    将其中一个离散序列翻转后与另一个离散序列作移位相乘后累加求和。

  • 二维卷积

    • 连续二维卷积

    $$f(x,y)\ast g(x,y)={\int }_{-\infty }^{\infty }f(u,v)g(x-u,y-v)dudv$$

    与一维卷积相似，注意$g(0-u,0-v)$是$g(u,v)$绕其原点旋转180°的结果。

    • 离散二维卷积

    $$\begin{array}{rl}f(i,j)\ast g(i,j)& =\sum _m\sum _{n}f(m,n)g(i-m,j-n)\\ & =\sum _m\sum _{n}f(i-m,j-n)g(m,n)\end{array}$$

    用于数字图像的离散二维卷积与连续函数类似，所不同的仅是其自变量取整数值，双重积分改为双重求和。

Chapter2-2 Geometric Operator

Geometric Operator

• 空间变换（空间映射）

  • Mapping forward

    $$f(x,y)\to f[a(x,y),b(x,y)]\to g(u,v)$$

  • Mapping backward

    $$f(x,y)\leftarrow g[a(u,v),b(u,v)]\leftarrow g(u,v)$$

  • Basic transformation

    ​ 刚体变换$\subset$仿射变换$\subset$投影变换$\subset$非线性变换

  • Spatial Transform

    基本形式：
    $$\left[\begin{array}{c}u\\ v\\ w\end{array}\right]=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]$$

    $(x,y)、(u,v)representsthecoordinatebeforeandaftertransform.$

    • linear transformation and affine transformation

    

    1. Translation

       ​ $u=x+x_0,v=y+y_0$
       $$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]\left[\begin{array}{ccc}1& 0& x_0\\ 0& 1& y_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$

    2. Image zoom/mirror

       ​ $u=S_{1}x,v=S_2$
       $$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{S}_1& 0& 0\\ 0& S_2& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]T=\left[\begin{array}{ccc}\cos \theta & -\sin \theta & 0\\ -\sin \theta & -\cos \theta & 0\\ 0& 0& 1\end{array}\right]$$
       ​ Image zoom Image mirror

    3. shear

       • 水平切变
         $u=x,v=H_x+y$
         $$T=\left[\begin{array}{ccc}1& 0& 0\\ H_x& 1& 0\\ 0& 0& 1\end{array}\right]$$

       • 垂直切变

         $u=x+H_{y}y,v=y$
         $$T=\left[\begin{array}{ccc}1& H_y& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$

    4. Rotation

       实现图像逆时针方向旋转θ角的变换矩阵:

    $$T=\left[\begin{array}{ccc}\cos \theta & -\sin \theta & 0\\ -\sin \theta & \cos \theta & 0\\ 0& 0& 1\end{array}\right]$$

    5. Combination transformation
       $$T=\left[\begin{array}{ccc}1& 0& x_0\\ 0& 1& y_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}\cos \theta & -\sin \theta & 0\\ \sin \theta & \cos \theta & 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& -x_0\\ 0& 1& -y_0\\ 0& 0& 1\end{array}\right]$$

    6. Multinomial Transform

       $$u=\sum _{i=0}^N\sum _{j=0}^{N-i}{a}_{ij}{x}^i{y}^{j}v=\sum _{i=0}^N\sum _{j=0}^{N-i}{b}_{ij}{x}^i{y}^j$$

• 灰度插值（重采样）

  • Nearest interpolation 最邻近插值

    • 一维最邻近插值

      • 令输出像素的灰度值等于离它所映射的位置最近的输入像素的灰度值

      • 当图像中包含像素之间灰阶有变化的细微结构时，最邻近插值法会在图像中产生明显的伪迹，而且灰阶变化越大，引入伪迹越明显

      $$f(x)=f(x_k),\frac{x_{k-1}+x_k}{2}<x\le \frac{x_k+x_{k+1}}{2}$$

    • 二维最邻近插值
      $$P=P_i(P_i是距离P最近的点)$$

  • Bilinear interpolation 双线性插值

    

• 医学图像配准

  • 医学图像配准是指对于一幅医学图像寻求一种（或一系列）空间变换，使它与另一幅医学图像上的对应点达到空间上的一致。

---

Chapter2-3 image enhancement and filtering

Image denoising

• 低通滤波
• 平均滤波

Image enhancement

空间域处理

Gray level transformation

• 线性灰度变化

  设$f(x,y)$范围为$[a,b],g(x,y)$灰度范围为$[c,d]$
  $$g(x,y)=\{\begin{array}{llccc}d,& & & & f(x,y)>b\\ \frac{d-c}{b-a}[f(x,y)-a]+c,& & & & a\le f(x,y)\le b\\ c,& & & & f(x,y)<a\end{array}$$

• 分段线性灰度变化

  将感兴趣的灰度范围线性扩展，相对抑制不感兴趣的灰度区域。

  设$f(x,y)$灰度范围为 $[0,M_f],g(x,y)$灰度范围为$[0,M_g]$
  $$g(x,y)=\{\begin{array}{llcc}\frac{M_g-d}{M_f-b}[f(x,y)-b]+d,& & & b\le f(x,y)\le M_f\\ \frac{d-c}{b-a}[f(x,y)-a]+c,& & & a\le f(x,y)<b\\ \frac{c}{a}f(x,y),& & & 0\le f(x,y)<a\end{array}$$

• 非线性灰度变化

  1. 对数变换

     低灰度区扩展，高灰度区压缩

     $g(x,y)=a+\frac{\ln [f(x,y)+1]}{b\ln c}$

  2. 指数变换

     低灰度区压缩，高灰度区扩展

     $g(x,y)=b^{c[f(x,y)-a]}-1$

  3. 钝化蒙片法（Passivation mask method）

     先对图像做低通滤波，再从原图像中减去这副模糊的图像，相当于提高了原图像高频分量的比重，实现高通滤波。

     $\hat{f}=\alpha f-\beta f_{LP}$ 式子中，$\alpha$ 和 $\beta$ 是正的系数，且$\alpha \ge \beta$

Histogram equalization

• definition

  直方图均衡化是将原图像的直方图通过变换函数修正为均匀的直方图，然后按均衡直方图修正原图像。

• step

  Histogram equatization(example)

$n_k$:第k个灰度级出现的频数。N:灰度级数，8

Edge Detection-Differential method

• 微分法-梯度算法

  • 典型梯度算法

    ​ G [ f ( x , y ) ] = { [ f ( x , y ) − f ( x + 1 , y ) ] 2 + [ f ( x , y ) − f ( x , y + 1 ) ] 2 } 1 / 2 G[f(x,y)]=\{[f(x,y)-f(x+1,y)]^2+[f(x,y)-f(x,y+1)]^2\}^{1/2} G[f(x,y)]={[f(x,y)−f(x+1,y)]2+[f(x,y)−f(x,y+1)]2}1/2

    

  • 罗伯茨梯度算法

    G [ f ( x , y ) ] = { [ f ( x , y ) − f ( x + 1 , y + 1 ) ] 2 + [ f ( x + 1 , y ) − f ( x , y + 1 ) ] 2 } 1 / 2 G[f(x,y)]=\{[f(x,y)-f(x+1,y+1)]^2+[f(x+1,y)-f(x,y+1)]^2\}^{1/2} G[f(x,y)]={[f(x,y)−f(x+1,y+1)]2+[f(x+1,y)−f(x,y+1)]2}1/2

    )

  • 绝对差分算法
    $$\begin{gathered} G[f(x,y)]\approx \mid f(x,y)-f(x+1,y)\mid +\mid f(x,y)-f(x,y+1)\mid \\ 或 \\ G[f(x,y)]\approx \mid f(x,y)-f(x+1,y+1)\mid +\mid f(x+1,y)-f(x,y+1)\mid \end{gathered}$$

• 确定梯度算法后可选择多种方法使轮廓突出

  1. $$g(x,y)=G[f(x,y)]$$
     轮廓比较突出，灰度平缓变化部分，梯度小，会很黑。

  2. $$g(x,y)=\{\begin{array}{llcc}G[f(x,y)]& & & G[f(x,y)]\ge T\\ f(x,y)& & & else\end{array}$$

     T:门限值、阈值。
     适当选择T，既突出轮廓，又不破坏背景

  3. $$g(x,y)=\{\begin{array}{llcc}{L}_G& & & G[f(x,y)]\ge T\\ f(x,y)& & & else\end{array}$$

     $L_G:$指定的轮廓灰度值。
     背景保留，轮廓取单一灰度值。

  4. $$g(x,y)=\{\begin{array}{llcc}G[f(x,y)& & & G[f(x,y)]\ge T\\ L_B& & & else\end{array}$$

     $L_B:$指定的背景灰度值。
     轮廓保留，背景取单一灰度值。

  5. $$g(x,y)=\{\begin{array}{llcc}{L}_G& & & G[f(x,y)]\ge T\\ L_B& & & else\end{array}$$

     $L_G:$指定的背景灰度值。
     $L_B:$指定的背景灰度值
     轮廓保留，背景取单一灰度值。

• Convolution operator

  • 水平方向

    $$h_1(k,l)=\left[\begin{array}{ccc}1& 1& 1\\ 0& 0& 0\\ -1& -1& -1\end{array}\right]h_2(k,l)=\left[\begin{array}{ccc}-1& -1& -1\\ 0& 0& 0\\ 1& 1& 1\end{array}\right]$$

  • 垂直方向

    $$v_1(k,l)=\left[\begin{array}{ccc}1& 0& -1\\ 1& 0& -1\\ 1& 0& -1\end{array}\right]v_2(k,l)=\left[\begin{array}{ccc}-1& 0& 1\\ -1& 0& 1\\ -1& 0& 1\end{array}\right]$$

  • Omnidirectional

    $$K_{HP}(k,l)=\left[\begin{array}{ccc}-\frac{1}{8}& -\frac{1}{8}& -\frac{1}{8}\\ -\frac{1}{8}& 1& -\frac{1}{8}\\ -\frac{1}{8}& -\frac{1}{8}& -\frac{1}{8}\end{array}\right]$$

频域处理

傅里叶换

• 理想低通滤波器

  1. 物理上不可实现
  2. 有抖动现象
  3. 滤除高频成分使图像模糊

• 巴特沃斯低通滤波器
  $$\begin{array}{rl}H(u,v)=& \frac{1}{1+(\sqrt{2}-1)[D(u,v)/D_0{]}^{2n}}\\ =& \frac{1}{1+0.414[D(u,v)/D_0{]}^{2n}}\end{array}$$

  $D(u,v)=D_0,H(u,v)$降为最大值的$1/\sqrt{2}$,$n为阶数$

• 指数型低通滤波器
  $$\begin{array}{rl}H(u)=& exp(ln\frac{1}{\sqrt{2}}\ast [\frac{D(u,v)}{D_0}{]}^n)\\ =& exp(-0.347\ast [\frac{D(u,v)}{D_0}{]}^n)\end{array}$$

  $D(u,v)=D_0,H(u,v)$降为最大值的$1/\sqrt{2}$,$n为阶数$

• 梯形低通滤波器
  $$H(u,v)=\{\begin{array}{llcc}1& & & D(u,v)\le D_0\\ \frac{D(u,v)-D_1}{D_0-D_1}& & & D_0<D(u,v)\le D_1\\ 0& & & D(u,v)>D_1\end{array}$$

Image sharpening

• 高频加强滤波

  • 高频加强滤波器使高频分量相对突出，而低频分量和甚高频分量相对抑制。

  • 理想高频加强滤波器的转移函数可表示成：$H(u,v)=\alpha +H_l(u,v)\ast H_h(u,v)$。

  • 高频加强滤波器由三种滤波器构成：

    1. 增益为$\alpha$的全通滤波器，$H_{\alpha }(u,v)=\alpha$。

    2. 增益为$\sqrt{1-\alpha }$，截止频率为$D_{h0}$的理想高通滤波器：
       $$H_h(u,v)=\{\begin{array}{llcc}0& & & D(u,v)\le D_{h0}\\ \sqrt{1-\alpha }& & & D(u,v)>D_{h0}\end{array}$$

    3. 增益为$\sqrt{1-\alpha },$截止频率为$D_{l0}$的理想低通滤波器：
       $$H_l(u,v)=\{\begin{array}{llcc}\sqrt{1-\alpha }& & & D(u,v)\le D_{l0}\\ 0& & & D(u,v)>D_{l0}\end{array}$$

  • Transfer function decomposition

  

• 微分法

• 反锐化掩模法

  基本算法：$g(x,y)=f(x,y)+C[f(x,y)-\overline{f}(x,y)]$

  $f(x,y)$是原始图像，$\overline{f}(x,y)$是用人为方法模糊的图像，$C$为常数。
  模糊图像中高频成分被削弱，而$f(x,y)-\overline{f}(x,y)$使得低频成分损失较多，高频成分较完整的保存下来；再将它扩大$C$倍后与$f(x,y)$叠加，这样就提高了反应边缘的高频成分，而低频部分几乎不受影响。