Filter and Digital Image Processing

本文为课堂笔记，严禁转载

本文为了方便自己复习记录，如有理解不对的地方还望指正。

Purpose of Digital Image Processing

Image procssing I

Image Enhancement (Improving subjective image quality e.g image contrast)
Image Restoration(Improving objective image quality e.g noise)
Image compression(Reducing number of bits)
Geometry(Interpolation)
Scaling
Rotation/Mirroring
Rectification
Warping

Image Processing

image acquistion
preprocessing
segments
Feature extraction(edge detection)
recognition/evalutation

Geometric Image Transformations

Coordinate transformation
$(x^,,y^,)=T(x,y)+Interpolation$

Translation

$$T= \left( \begin{matrix} 1 & 0 & dx \\ 0 & 1 & dy \\ 0 & 0 & 1 \end{matrix} \right)$$

Rotation

$$T= \left( \begin{matrix} cos(\phi) & -sin(\phi) & 0 \\ sin(\phi) & cos(\phi) & 0 \\ 0 & 0 & 1\end{matrix}\right)$$

Scaling

$$T= \left( \begin{matrix} Sx & 0 & 0 \\ 0 & Sy & 0 \\ 0 & 0 & 1 \end{matrix} \right)$$

Shear

$$T= \left( \begin{matrix} 1 & ux & 0 \\ uy & 1 & 0 \\ 0 & 0 & 1 \end{matrix} \right)$$

$$\left( \begin{matrix} x' \\ y' \\ 1 \end{matrix} \right) =dot(T,\left( \begin{matrix} x \\ y \\ 1 \end{matrix} \right))$$

Application of Geometry

Image Transfromation
Image stitching
Rectification
Linear alignment/registration
Internal camera orientation

Point Operations

$g(x,y)=T(f(x,y),x,y)$
$g(x,y)$:Value of output image
$T$:Operator function
$f(x,y)$: Value of original image at postion(x,y)
$x,y$:
1.Imhomogeneous PO:T is dependent on (x,y)
2.Homogeneous PO: T is Not dependent on (x,y)

Inhomo PO

Background detection

Inhomo PO:
若有f1,f2,f3…fn张图片来自城市十字路口的摄像头，假设摄像头的拍摄角度不变，外界光线等一系列客观条件不变
$a(x,y)=\frac1{N}\sum_{i=0}^{N}f_i(x,y)$
$a(x,y)$为图像背景
若得到了图像背景，反过来再有新的图片进来
$g_i(x,y)=T(f(x,y),x,y)= f_i(x,y)-a(x,y)$
$g_i(x,y)$就为图片中移动的物体

Pixel-dependent Brightness Correction

Inhmo PO:
以下过程的假设：
1.没有为0的错误函数
2.线性
3.降解过程稳定（个人理解为矩阵可以求逆）
最理想的状态：图像获取信息的敏感度和像素点位置无关
实际操作中：
不平的物体照明
传感器不同位置的敏感度
等都会造成问题
$g(x,y)=e(x,y)f(x,y)$
$g(x,y)$测量输出图像
$e(x,y)$调整系数
$f(x,y)$未降解图像
我们在计算调整系数的时候，需要一张参考图像
$f(x,y)=c$
$f_c(x,y)=e(x,y)c$
$e(x,y)=\frac{f_c(x,y)}{c}$
所以我们需要的图像$f(x,y)$为
$f(x,y)=\frac{cg(x,y)}{f_c(x,y)}$

Homo PO

Id:$g(x,y)=f(x,y)$
log:$g(x,y)=a*\log{(f(x,y)+1)}$
sq-root:$g(x,y)=\sqrt{255f(x,y)}$
sq:$g(x,y)=\frac{f(x,y)^2}{255}$
exp:$g(x,y)=a* {exp(f(x,y)-1)}$
Inverse:$g(x,y)=255-f(x,y)$

灰度值标准化

$g(x,y)=\frac{f(x,y-min(f(x,y)))}{max(f(x,y)-min(f(x,y)))}\dot255$

Histogram Equalization

平均亮度值
填平附近的极小值

一下操作就是将原来的灰度值频率进行累加
累加后的值为1

$f(x,y)=H(p)$将该像素点的灰度值用该灰度值的频数表示
$g(x,y):G(q)$转换后该像素点的值
$g(x,y)=T(f(x,y))$
步骤如下：

1.标准化
$\sum_{i=0}^{255}H(i)=\sum_{j=0}^{255}G(r)=1$
2.
$\sum_{i=0}^{p}H(i)=\sum_{j=0}^{q=T(p)}G(r)$
3. Histogram Equalization
$\sum_{i=0}^{p}H(i)=\sum_{j=0}^{q}\frac{1}{256}$
4.
$\sum_{i=0}^{p}H(i)=(q+1)\dot(\frac{1}{256})$
5.
$q=256 \dot (\sum_{i=0}^{p}H(i))-1$
6.
$q=256 \dot{Cum_H}(p)-1$
7.
$q=Cum_H(p)=T(p)$

效果图在这

从点到邻居

Temporal Avg

相同空间点不同时间
$g(x,y)=\frac{1}{N}\sum_{t=0}^{N}f_i(x,y)=f_{orig}(x,y)+\frac{1}{N}\sum_{t=0}^Nn_t(x,y)$
最后一项当N无限大的时候趋向0
所以通常
$g(x,y)=\frac{1}{N}\sum_{t=0}^{N}f_i(x,y)$

Spatial Avg

相同时间点不同空间（相邻）
该方法在边界容易出错而且容易出现重叠纹理
该方法可以用来降低图像噪音
$\gamma(x,y)$为图像中的一块区域
$g(x,y)=\frac{1}{N}\sum_{\gamma(x,y)}f(x_i,y_i)=f_{orig}(x,y)+\frac{1}{N}\sum_{\gamma(x,y)}n(x_i,y_i)$

Median Filtering

取区域内的中位数
该方法能够有效取出shot noise（符合泊松分布）
$g(x,y)=median_{\phi(x,y)}f(x_i,y_i)$

Convolution

$g(x,y)=\sum_{\phi(x,y)}h_{i} \dot {f(x_i.y_i)}$
$h_i=\frac{1}{N}$
$h_i=h(r,s)=\frac{1}{w^2}*ones(w,w)$

公式在这里，注意这里不是矩阵乘法

Edge Detection

1st order Derivatives

x方向检测y方向的线条
y方向检测x方向的线条
最后组合
2nd order Derivatives