| 图像处理 | 图像分析 | 计算机视觉 |
|---|---|---|
| 低级 | 中级 | 高级 |
| 降噪 对比度增强 锐化 | 分割，边缘，标志等 | 人工智能 视觉认知 |
| 图像 = f(图像) | 特征 = f(图像) | 认知 = f(特征) |
人的直觉和分析在选择技工具术时起到核心作用，这种选择通常基于主观的视觉判断！
亮度适应与辨别
人眼的
主
观
(
感
知
)
亮
度
=
l
o
g
入
眼
光
强
主观(感知)亮度 = log{入眼光强}
主观(感知)亮度=log入眼光强
[
l
o
g
0.001
,
l
o
g
0.1
]
即
[
−
3
,
−
1
]
m
L
[log{0.001},log{0.1}] 即 [-3,-1] mL
[log0.001,log0.1]即[−3,−1]mL 为暗视觉到亮视觉过渡区
视觉系统能够适应106的光强度级，原因在于动态调整灵敏度，即亮度适应
同时辨别强度范围只占适应范围很小一部分
当前灵敏度级别称为亮度适应级别(会随着“背景”强度变化而变化)
人眼辨别能力的实验：A区域(相对漫反射区很小)使用增强光闪烁照射，人眼评判能否被识别
韦伯比 =
Δ
I
C
I
=
Δ
I
×
%
50
I
\frac{\Delta I_C}{I}=\frac{\Delta I\times \%50}{I}
IΔIC=IΔI×%50 其中
Δ
I
\Delta I
ΔI为测试对象100%能够区分区域A时的值
眼睛在扫视时背景的平均值在变化，适应级发生变化，人眼能够辨别更宽的范围
相关效应 ：马赫带
相关效应 ：同时对比
没有颜色的光称为单色光(monochromatic or achromatic light)
单色光唯一的属性是他的强度(intensity)，使用 灰度级(gray level) 表示，即
取值区间内可取灰度值的个数，出于存储和量化硬件考虑，灰度级数典型取2k
电磁波并不是成像的唯一方法，声波、电子束都可以。
单色值
f
(
x
,
y
)
=
i
(
x
,
y
)
r
(
x
,
y
)
f(x,y)=i(x,y)r(x,y)
f(x,y)=i(x,y)r(x,y)，
i
(
x
,
y
)
i(x,y)
i(x,y)为场景入射分量
(
0
,
∞
)
(0,\infty)
(0,∞)，
r
(
x
,
y
)
r(x,y)
r(x,y)为场景反射分量
(
0
,
1
)
(0,1)
(0,1)
L
m
i
n
=
i
m
i
n
r
m
i
n
≤
f
(
x
,
y
)
≤
L
m
a
x
=
i
m
a
x
r
m
a
x
L_{min} = i_{min}r_{min}\leq f(x,y)\leq L_{max}=i_{max}r_{max}
Lmin=iminrmin≤f(x,y)≤Lmax=imaxrmax
[
L
m
i
n
,
L
m
a
x
]
[L_{min},L_{max}]
[Lmin,Lmax]称为 灰度级
通常使用
[
0
,
L
−
1
]
[0,L-1]
[0,L−1]表示[黑色,白色]
图像取样和量化
取样=坐标离散
量化=幅值离散
图
像
系
统
动
态
范
围
=
最
大
可
测
强
度
(
m
a
x
i
m
u
m
m
e
a
s
u
r
a
b
l
e
i
n
t
e
n
s
i
t
y
)
最
小
可
检
强
度
(
m
i
n
i
m
u
m
d
e
t
e
c
t
a
b
l
e
i
n
t
e
n
s
i
t
y
)
图像系统动态范围=\frac{最大可测\red{强度}(maximum\;measurable\;intensity)}{最小可检\red{强度}(minimum\;detectable\;intensity)}
图像系统动态范围=最小可检强度(minimumdetectableintensity)最大可测强度(maximummeasurableintensity)上限取决于饱和度，下限取决于噪声
空间分辨率：每单位距离线对数(显示器是黑白线交错排列)和每单位距离点数(像素数，dpi)
灰度分辨率：灰度级中可分辨的最小变化,使用量化的位数bit描述
内插：使用已知数据估计未知位置的数值(一种重取样)
| 方法 | 原理 | 特点 |
|---|---|---|
| 最近邻内插 | 最近邻灰度赋予临近像素 | 直线边缘的严重失真 |
| 双线性内插 |
v
(
x
,
y
)
=
a
x
+
b
y
+
c
x
y
+
d
v(x,y)=ax+by+cxy+d
v(x,y)=ax+by+cxy+d 相邻4个点得到4个方程 | xy=>本质非线性的 计算量增加 低通滤波 |
| 双三次内插 |
v
(
x
,
y
)
=
∑
0
3
∑
0
3
a
i
j
x
i
y
j
v(x,y)=\sum_0^3\sum_0^3 a_{ij}x^iy^j
v(x,y)=∑03∑03aijxiyj 相邻16个点得到16个方程 将距离带入 s i n ( x ) x \frac{sin(x)}{x} xsin(x)的三次插值函数得到权值 | 效果更好 计算量更大 |
矩形上下两块三角形面积相等，则有两个黄色矩形面积相等，y则满足面积关系
y
=
(
a
+
b
)
y
1
−
a
y
1
+
a
y
2
a
+
b
=
b
y
1
+
a
y
2
a
+
b
y=\frac{(a+b)y_1-ay_1+ay_2}{a+b}=\frac{by_1+ay_2}{a+b}
y=a+b(a+b)y1−ay1+ay2=a+bby1+ay2
可以得到
y
=
x
2
−
x
x
2
−
x
1
y
1
+
x
−
x
1
x
2
−
x
1
y
2
y=\frac{x_2-x}{x_2-x_1}y_1+\frac{x-x_1}{x_2-x_1}y_2
y=x2−x1x2−xy1+x2−x1x−x1y2
以上方法对
Q
11
,
Q
21
Q_{11},Q_{21}
Q11,Q21和
Q
12
,
Q
22
Q_{12},Q_{22}
Q12,Q22分别线性插值得到
R
1
R_1
R1和
R
2
R_2
R2
再对
R
1
R_1
R1和
R
2
R_2
R2进行线性插值得到
f
(
x
,
y
)
f(x,y)
f(x,y)
和 ∂ 2 f ∂ x ∂ y \frac{\partial ^2f}{\partial x\partial y} ∂x∂y∂2f的关系 待探讨！！！！！！！
像素间的基本关系
与P点上、下、左、右 直接相邻 称 P的4邻域
N
4
(
P
)
N_4(P)
N4(P)，对角相邻
N
D
(
P
)
N_D(P)
ND(P)，总称 P的8邻域
N
8
(
P
)
=
N
4
(
P
)
+
N
D
(
P
)
N_8(P) =N_4(P)+N_D(P)
N8(P)=N4(P)+ND(P)
V为定义邻接性的灰度值集合，可能是任何
[
0
,
L
−
1
]
[0,L-1]
[0,L−1]的子集
(1)
q
∈
N
4
(
p
)
，
f
(
q
)
与
f
(
p
)
∈
V
q\in N_4(p)，f(q)与f(p)\in V
q∈N4(p)，f(q)与f(p)∈V，则
p
与
q
p与q
p与q是4邻接的
(2)
q
∈
N
8
(
p
)
，
f
(
q
)
与
f
(
p
)
∈
V
q\in N_8(p)，f(q)与f(p)\in V
q∈N8(p)，f(q)与f(p)∈V，则
p
与
q
p与q
p与q是8邻接的
(3) p与q混合邻接(m邻接) 避免多重8邻接的二义性(如下图所示)
{
q
∈
N
4
(
p
)
q
∈
N
D
(
p
)
且
f
(
N
4
(
q
)
)
∩
f
(
N
4
(
p
)
)
∉
V
且
f
(
q
)
与
f
(
p
)
∈
V
\begin{cases} q\in N_4(p) &\\ q\in N_D(p)且f(N_4(q))\cap f(N_4(p))\notin V且f(q)与f(p)\in V & \end{cases}
{q∈N4(p)q∈ND(p)且f(N4(q))∩f(N4(p))∈/V且f(q)与f(p)∈V
从
(
x
0
,
y
0
)
(x_0,y_0)
(x0,y0)到
(
x
n
,
y
n
)
(x_n,y_n)
(xn,yn)号，前后两点邻接成通路，长n
(
x
0
,
y
0
)
(x_0,y_0)
(x0,y0)=
(
x
n
,
y
n
)
(x_n,y_n)
(xn,yn)时称为闭合通路
图像子集S{…}，任意P
∈
S
\in S
∈S，连通到P的一个像素集称为S的一个连通分量
S只有一个连通分量，S称为连通集(区域)
图像前景
R
u
=
∑
R
K
R_u={\sum R_K}
Ru=∑RK，图像背景=
(
R
u
)
c
(R_u)^c
(Ru)c=前景的补集
P
∈
R
u
P\in R_u
P∈Ru 且
N
8
(
P
)
N_8(P)
N8(P)中至少一个背景点，P称为内边界(内边缘，内轮廓)
为保证边界是闭合通路，通常运用外边界(背景的内边界)
图像的边界={第0行，第N-1行，第0列，第N-1列}
注意连通的类型(4连通、8连通)，区分“边缘”(导数在阈值之外的点)和“边界”
距
离
仅
与
坐
标
有
关
(
与
连
通
无
关
)
{
欧
拉
距
离
D
e
=
[
(
P
⃗
1
−
P
⃗
2
)
T
(
P
⃗
1
−
P
⃗
2
)
]
1
2
城
市
中
心
距
离
D
4
=
∣
x
1
−
x
2
∣
+
∣
y
1
−
y
2
∣
棱
形
棋
盘
距
离
D
8
=
m
a
x
(
∣
x
1
−
x
2
∣
，
∣
y
1
−
y
2
∣
)
正
方
形
距离仅与坐标有关(\color{red}与连通无关\color{black}) \begin{cases} 欧拉距离D_e=[(\vec P_1 - \vec P_2)^T(\vec P_1 - \vec P_2)]^\frac{1}{2}\\ 城市中心距离D_4=|x_1-x_2|+|y_1-y_2| 棱形& \\ 棋盘距离D_8=max(|x_1-x_2|，|y_1-y_2|) 正方形& \end{cases}
距离仅与坐标有关(与连通无关)⎩⎪⎨⎪⎧欧拉距离De=[(P1−P2)T(P1−P2)]21城市中心距离D4=∣x1−x2∣+∣y1−y2∣棱形棋盘距离D8=max(∣x1−x2∣，∣y1−y2∣)正方形
D
m
D_m
Dm距离=点间最短通路长度
数学工具
| 工具 | 定义 |
|---|---|
| 线性操作H | H ( a f 1 + b f 2 ) = a H ( f 1 ) + b H ( f 2 ) = a g 1 + b g 2 H(af_1+bf_2)=aH(f_1)+bH(f_2)=ag_1+bg_2 H(af1+bf2)=aH(f1)+bH(f2)=ag1+bg2 |
| 像素操作 | 类似 . ∗ 或 . / 或 ± .* 或 ./或 \pm{}{} .∗或./或±像素间的操作 |
eg：带噪相加降噪
污染图=
g
(
x
,
y
)
=
f
(
x
,
y
)
+
η
(
x
,
y
)
g(x,y)=f(x,y)+\eta(x,y)
g(x,y)=f(x,y)+η(x,y)=原图+随机噪声(待证明)
g
‾
(
x
,
y
)
=
∑
k
=
1
K
g
k
(
x
,
y
)
K
=
f
(
x
,
y
)
+
∑
k
=
1
K
η
(
x
,
y
)
K
E
{
g
‾
(
x
,
y
)
}
=
f
(
x
,
y
)
σ
g
‾
(
x
,
y
)
=
1
K
σ
η
(
x
,
y
)
\overline g(x,y)=\frac{\sum_{k=1}^{K} g_k(x,y)}{K} =f(x,y)+\frac{\sum_{k=1}^{K} \eta(x,y)}{K}\\ E\{\overline g(x,y)\}=f(x,y)\\ \sigma_{\overline g(x,y)}=\frac{1}{\sqrt K}\sigma_{\eta(x,y)}
g(x,y)=K∑k=1Kgk(x,y)=f(x,y)+K∑k=1Kη(x,y)E{g(x,y)}=f(x,y)σg(x,y)=K1ση(x,y)
eg：相减图像增强
g
(
x
,
y
)
=
f
(
x
,
y
)
−
h
(
x
,
y
)
g(x,y)=f(x,y)-h(x,y)
g(x,y)=f(x,y)−h(x,y)，
h
(
x
,
y
)
h(x,y)
h(x,y)为对象模板，获取细节，图像分割
eg：相乘相除
g
(
x
,
y
)
=
f
(
x
,
y
)
h
(
x
,
y
)
g(x,y)=f(x,y)h(x,y)
g(x,y)=f(x,y)h(x,y)
校正阴影，其中
h
(
x
,
y
)
h(x,y)
h(x,y)可以通过取样阴影得到近似
模板操作，感兴趣区域(ROI)， 如“遮蔽”
图像的归一化：
f
s
=
K
f
−
f
m
i
n
m
a
x
(
f
−
f
m
i
n
)
f_s=K\frac{f-f_{min}}{max(f-f_{min})}
fs=Kmax(f−fmin)f−fmin
图像灰度补集：
A
c
=
A
n
=
{
(
x
,
y
,
2
k
−
z
)
∣
(
x
,
y
,
z
)
∈
A
}
A^c=A_n=\{(x,y,2^k-z)|(x,y,z)\in A\}
Ac=An={(x,y,2k−z)∣(x,y,z)∈A}
图像灰度并集：
A
∪
B
=
{
max
z
(
a
,
b
)
∣
a
∈
A
，
b
∈
B
}
A\cup B=\{\max\limits_{z}(a,b)|a\in A，b\in B\}
A∪B={zmax(a,b)∣a∈A，b∈B}
几何空间变换
几何变换=坐标空间变换+灰度内插
常见空间坐标变换—仿射变换(affine transformation)：尺度(缩放)，平移，旋转，偏移
[
x
y
1
]
=
[
v
w
1
]
[
t
11
t
12
0
t
21
t
22
0
t
31
t
32
1
]
[x\;y\;1]=[v\;w\;1] \begin{bmatrix} t_{11} & t_{12} & 0 \\ t_{21} & t_{22} & 0 \\ t_{31} & t_{32} & 1 \\ \end{bmatrix}
[xy1]=[vw1]⎣⎡t11t21t31t12t22t32001⎦⎤
旋转证明
前向映射：由
T
(
v
，
w
)
T(v，w)
T(v，w)计算
f
(
x
，
y
)
f(x，y)
f(x，y)，可能多值合并，可能越界
反向映射：由
T
−
1
T^{-1}
T−1(x，y)计算(v，w)，取最近的点作为输入，效率更高
eg：图像配准
对两幅或多幅相同场景的图像因时间，视角，距离，方向，分辨率，位移和其他因素产生的几何畸变进行修正，主要方法有约束(控制)点矫正
根据输入图像和参考图像建立估计变换函数进行建模，之后进行内插
4
×
{
x
=
c
1
v
+
c
2
w
+
c
3
v
w
+
c
4
y
=
c
5
v
+
c
6
w
+
c
7
v
w
+
c
8
4\times\begin{cases} x=c_1v+c_2w+c_3vw+c_4 &\\ y=c_5v+c_6w+c_7vw+c_8 & \end{cases}
4×{x=c1v+c2w+c3vw+c4y=c5v+c6w+c7vw+c8
4对约束点坐标解得8个系数，效果不理想时可以进行区域划分，分区域建模，也可用高阶模型
图像变换
工作域{像素空间} ⇒ 变换核 ⇒ 变换域 ⇒ 反变换核 ⇒ 工作域
T
(
u
,
v
)
=
∑
x
=
0
M
−
1
∑
y
=
0
N
−
1
f
(
x
,
y
)
r
(
x
,
y
,
u
,
v
)
f
(
x
,
y
)
=
∑
x
=
0
M
−
1
∑
y
=
0
N
−
1
T
(
x
,
y
)
s
(
x
,
y
,
u
,
v
)
T(u,v)=\sum\limits_{x=0}^{M-1}\sum\limits_{y=0}^{N-1}f(x,y)r(x,y,u,v)\\ f(x,y)=\sum\limits_{x=0}^{M-1}\sum\limits_{y=0}^{N-1}T(x,y)s(x,y,u,v)
T(u,v)=x=0∑M−1y=0∑N−1f(x,y)r(x,y,u,v)f(x,y)=x=0∑M−1y=0∑N−1T(x,y)s(x,y,u,v) 如果
r
(
x
,
y
,
u
,
v
)
=
r
1
(
x
,
u
)
r
2
(
y
,
v
)
r(x,y,u,v)=r_1(x,u)r_2(y,v)
r(x,y,u,v)=r1(x,u)r2(y,v)称变换核(两个维度上)可分(独立)
如果
r
1
(
x
,
u
)
=
r
2
(
y
,
v
)
r_1(x,u)=r_2(y,v)
r1(x,u)=r2(y,v)称变换核(两个维度上的变化)对称
傅里叶变换：
r
(
x
,
y
,
u
,
v
)
=
e
−
j
2
π
(
u
x
M
+
v
y
N
)
s
(
x
,
y
,
u
,
v
)
=
1
M
N
e
j
2
π
(
u
x
M
+
v
y
N
)
r(x,y,u,v)=e^{-j2\pi(\frac{ux}{M}+\frac{vy}{N})}\\ s(x,y,u,v)=\frac{1}{MN}e^{j2\pi(\frac{ux}{M}+\frac{vy}{N})}
r(x,y,u,v)=e−j2π(Mux+Nvy)s(x,y,u,v)=MN1ej2π(Mux+Nvy)
可分且对称的傅里叶变换的矩阵形式：
T
=
A
F
A
F
=
B
T
B
=
B
A
T
A
B
B
=
A
−
1
T=AFA\\F=BTB=BATAB\\B=A^{-1}
T=AFAF=BTB=BATABB=A−1
概率论方法
某灰度值的概率
p
(
z
k
)
=
n
k
M
N
p(z_k)=\frac{n_k}{MN}
p(zk)=MNnk
概率满足
∑
k
=
0
L
−
1
p
(
z
k
)
=
1
\sum\limits_{k=0}^{L-1}p(z_k)=1
k=0∑L−1p(zk)=1
平均灰度
m
=
∑
k
=
0
L
−
1
z
k
p
(
z
k
)
m=\sum\limits_{k=0}^{L-1}z_kp(z_k)
m=k=0∑L−1zkp(zk)
灰度方差(平均值展开度量=对比度测度)
μ
2
(
z
)
=
∑
k
=
0
L
−
1
(
z
k
−
m
)
2
p
(
z
k
)
\mu_2(z)=\sum^{L-1}\limits_{k=0}(z_k-m)^2p(z_k)
μ2(z)=k=0∑L−1(zk−m)2p(zk)
图像(序列) = 空间随机事件( + 时间随机时间)
468
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
