ImageDataProcessing
图片储存原理
RGB 颜色空间
多用于显示器,加法原理,有红(Red)绿(Green)蓝(Blue)三通道,一个像素的颜色值为(b,g,r),范围在[0,255]或[0.0-1.0]。
CMYK 颜色空间
多用于印刷,用减法原理,有青(Cyon),品红(Magenta),黄(Yellow),黑(Key)四个通道。三个颜色相减并不能得到纯黑颜色,故引进纯黑。一个像素的颜色值为(c,m,y,k),取值范围相同。
HSV/HSI/HSL 颜色空间
人类视觉,有色调(Hue),饱和(Saturation),明度(Value),亮度(Lightness/Intensity),一个像素颜色值(h,s,v/l/i),取值范围相同。
CIE-XYZ 颜色空间
国际照明协会提出,基于人类颜色视觉直接测定,是其他颜色空间的基础。
CIE-Lab 颜色空间
国际照明协会提出,接近人类视觉,致力于感知均匀,为不均匀颜色空间。
主流颜色空间
- RGB
用三维矩阵存储RGB值。 - 单通道灰度图
G r a y = R ∗ 0.3 + G ∗ 0.59 + B ∗ 0.11 Gray=R*0.3+G*0.59+B*0.11 Gray=R∗0.3+G∗0.59+B∗0.11
颜色传感器:Bayer 网格
基于周边八个色值,估计G格RGB
空域分析及变换
滤波/卷积
在每个图片位置(x,y)进行基于邻域的函数计算,邻域的选取可作为参数,比如周围八个或垂直方向四个。
滤波函数是一种权重相加的计算,有卷积核/卷积模板/滤波器/滤波模板/扫描窗。
h
(
x
,
y
)
=
∑
k
,
l
f
[
k
,
l
]
I
(
x
+
k
,
y
+
l
)
h(x,y)=\sum_{k,l}f[k,l]I(x+k,y+l)
h(x,y)=k,l∑f[k,l]I(x+k,y+l)
参数解释:
k,l对应滤波模板的坐标;x,y对应图片像素坐标。
f
(
k
,
l
)
f(k,l)
f(k,l) 是卷积核在(k,l)位置上的权重参数。
I
(
x
+
k
,
y
+
l
)
I(x+k,y+l)
I(x+k,y+l) 是与(k,l)相对应的图片像素值。
h
(
x
,
y
)
h(x,y)
h(x,y) 是图片中(x,y)像素的滤波.卷积结果。
对边界像素进行卷积时,会有超边界情况,对于超边界,做补充。
边界补充(Padding):同尺寸输出的情况下,卷积核越大,补充越多。
补充类型:补零(zero-padding),边界复制(replication),镜像(reflection),块复制(warparound)。
对于不同功能,定义不同的函数,一般来说有两类:
- 图像增强:平滑/去噪,梯度/锐化。
- 信息提取,检测:边缘,显著点,纹理,模式。
均值滤波
尺寸为奇数,参数和为1,卷积核为均值矩阵。
中值滤波
奇数尺寸,卷积域内的像素值从小到大排序,取中间值为卷积输出
高斯滤波
奇数尺寸,模拟人眼效果,关注中心区域,离中心越近,关注程度越高,权重越高。去除高斯噪声。
G
σ
=
1
2
π
σ
2
e
−
(
x
2
+
y
2
)
2
σ
2
\displaystyle G_{\sigma}=\frac{1}{2\pi\sigma^2}e^{-\frac{(x^2+y^2)}{2\sigma^2}}
Gσ=2πσ21e−2σ2(x2+y2)
参数:
x,y,卷积参数坐标。
标准差
σ
\sigma
σ ,决定中心圆大小,越小,关注区域越集中(越小)。
分解特性:(级联高斯)二维卷积拆分成两个相同的一维卷积:行卷积,列卷积,计算量明显变小。
G
σ
=
1
2
π
σ
2
e
−
(
x
2
+
y
2
)
2
σ
2
=
(
1
2
π
σ
e
−
x
2
2
σ
)
(
1
2
π
σ
e
−
y
2
2
σ
)
\displaystyle G_{\sigma}=\frac{1}{2\pi\sigma^2}e^{-\frac{(x^2+y^2)}{2\sigma^2}}=(\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{x^2}{2\sigma}})(\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{y^2}{2\sigma}})
Gσ=2πσ21e−2σ2(x2+y2)=(2πσ1e−2σx2)(2πσ1e−2σy2)
梯度 Prewitt 滤波
卷积核:
- 水平梯度 ( − 1 , 0 , 1 ) (-1,0,1) (−1,0,1) *垂直均值平滑 ( 1 , 1 , 1 ) T (1,1,1)^T (1,1,1)T
- 垂直梯度 ( − 1 , 0 , 1 ) T (-1,0,1)^T (−1,0,1)T *水平均值平滑 ( 1 , 1 , 1 ) (1,1,1) (1,1,1)
梯度 Sobel 滤波
卷积核:
- 水平梯度 ( − 1 , 0 , 1 ) (-1,0,1) (−1,0,1) *垂直高斯平滑 ( 1 , 2 , 1 ) T (1,2,1)^T (1,2,1)T
- 垂直梯度 ( − 1 , 0 , 1 ) T (-1,0,1)^T (−1,0,1)T *水平高斯平滑 ( 1 , 2 , 1 ) (1,2,1) (1,2,1)
梯度 Laplacian 滤波
(二阶梯度)一阶导数的极值,
Δ
f
=
∂
2
f
∂
x
2
+
∂
2
f
∂
y
2
\displaystyle \Delta f=\frac{\partial^2f}{\partial x^2}+\frac{\partial^2f}{\partial y^2}
Δf=∂x2∂2f+∂y2∂2f
可以用作团块检测,周边高于/低于中心点;边缘检测,像素值快速变化的区域。
频域分析及变换
Fourier transform 傅里叶变换
即一个信号可以由足够多个不同频域和幅值的正弦余弦波组成。
A
s
i
n
(
ω
x
)
+
B
c
o
s
(
ω
x
)
Asin(\omega x)+Bcos(\omega x)
Asin(ωx)+Bcos(ωx)
连续变换:
H
(
ω
)
=
∫
−
∞
∞
h
(
x
)
e
−
j
ω
x
d
x
\displaystyle H(\omega)=\int_{-\infty}^{\infty}h(x)e^{-j\omega x}dx
H(ω)=∫−∞∞h(x)e−jωxdx
离散变换:
H
(
k
)
=
1
N
∑
x
=
0
N
−
1
h
(
x
)
e
−
j
2
π
k
x
N
\displaystyle H(k)=\frac{1}{N}\sum_{x=0}^{N-1}h(x)e^{-j\frac{2\pi kx}{N}}
H(k)=N1x=0∑N−1h(x)e−jN2πkx
幅值:
A
=
±
R
e
(
ω
)
2
+
I
m
(
ω
)
2
A=\pm \sqrt{Re(\omega)^2+Im(\omega)^2}
A=±Re(ω)2+Im(ω)2;
相位:
ϕ
=
t
a
n
−
1
=
I
m
(
ω
)
R
e
(
ω
)
\phi=tan^{-1}=\frac{Im(\omega)}{Re(\omega)}
ϕ=tan−1=Re(ω)Im(ω)
二维离散傅里叶变换
F [ k , l ] = 1 M N ∑ m = 0 M − 1 ∑ n = 0 N − 1 f [ m , n ] e − j 2 π ( k M m + l N n ) F[k,l]=\frac{1}{MN}\sum_{m=0}^{M-1}\sum_{n=0}{N-1}f[m,n]e^{-j2\pi (\frac{k}{M}m+\frac{l}{N}n)} F[k,l]=MN1m=0∑M−1n=0∑N−1f[m,n]e−j2π(Mkm+Nln)
相位滤波
频段滤除
.
空域卷积=频域乘积
金字塔
高斯金字塔
多次进行高斯卷积后,一些像素是多余的。进行n次(高斯卷积->2x降采样)得到高斯金字塔。
先高斯再降采样,直接降采样会损失信息。
拉普拉斯金字塔
用于保留高频信息,为了解决高斯信息丢失问题,高频细节信息在卷积和下采样中丢失,保留所有层所丢失的高频信息,用于图像恢复。
模板匹配
类似卷积,使用真实图片,作尺度目标检测,使用模板图片扫描整个图片。
匹配结果:相似度量。