机器视觉学习笔记

二值图像：像素值只有0和1，或者只有0和255

灰度图像：0表示纯黑，255表示纯白

彩色图像：0表示没有这个像素，255表示取得最大值

像素f(x,y)：特定位置(x，y)的幅值

图像采样：确定水平和垂直方向上像素个数N,M

非统一图像的采样：在灰度级变化尖锐的区域，用细腻的采样；

在灰度级比较平滑的区域，用粗糙的采样

图像量化：量化到0-255

图像分辨率越大，细节越多

图像灰度级越大，细节越多

RGB：图像成像/色彩显示/打印(CCD技术直接感知R,G,B三个分量)

灰度图像怎么转化成RGB：Gray=R*0.299+G*0.587+B*0.114

YCbCr：视频数据

RGB to YCbCr

YCbCr to RGB

HSV：色彩描述（色调0~360°、饱和度0~1、亮度0~1）(广泛用于计算机视觉/图像检索和视频检索)

RGB怎么转换成HSI

RGB怎么转换成HSV

HSI怎么转换成RGB、

CMYK：印刷行业

数字图像的表示：f(x,y)、A[m,n]  （x,y）处像素的灰度值，第i行，第j列的像素的灰度值

图像的质量：层次：图像拥有的灰度级的数量，层次越多，视觉效果越好

            对比度=最大亮度/最小亮度

            清晰度：亮度/对比度/尺寸大小/细微层次/颜色饱和度

4邻域/D邻域/8邻域

4连通/8连通/m连通

成像模型：位置关系：共线条件（小孔成像）

          能量关系：f(x,y) = i(x,y) * r(x,y)

亮度=照度分量*反射分量

光源：热辐射光源：电流流经导电物体，使之在高温下辐射光能的光源

      气体发光光源：电流流经气体或金属蒸气，使之产生气体放电而发光的光源，分为弧光放电和辉光放电(氙灯/荧光灯)

      固体发光光源：在电场作用下，使固体物质发光的光源，电能直接转变成光能(LED二极管)

      激光光源：利用激发态粒子在受激辐射作用下发光的电光源

光源的强度与距离的平方成反比衰减

利用照明的方向：1. 正面照明/背光照明2. 明场照明/暗场照明3.漫反射/同轴照射/平行光照明

明场：光线反射进入照相机(W型之内)（易于形成高对比度，但会在反光表面形成镜面反射）(光源范围应为在照相机透镜处的现场的两倍)

暗场：光线反射离开照相机(W型之外)(漫射光被反射进照相机，镜面光被反射离开照相机)

(除有纹理的表面和凸高变化的地方外，光线被反射离开照相机)

明场漫射正面照明：环形灯/同轴光源/

暗场直接正面照明：（强调凸起、划痕和缺口等高度变化）

明场漫射背光照明：

明场平行背光照明：

利用照明的光谱：相似的颜色被反射、对立的颜色被吸收

镜头的作用：汇聚光线在相机内部成像，产生锐利的图像

物距分之一 + 像距分之一 = 焦距分之一

远心镜头

镜头的主要参数：焦距和视场角/光圈F值/最小工作距离/景深

（景深与焦距的平方反比/景深与光圈值大小成正比/景深与工作距离成正比）

图像传感器：把光能转化为电信号的光电探测器，包括光电转换、电荷收集、信号转换与输出三个步骤，主流技术：CCD和CMOS（原理、性能和参数）

CMOS和CCD最大的区别是：CMOS的电荷到电压转换过程是在每个像素上完成的

CCD在图像的质量上更有优势。而常见的高速相机则会采用CMOS芯片

镜头和相机的选型(不用考虑现在)

图像增强与矫正

空间域增强：对图像的像素直接处理

频域增强：修改图像的傅里叶变换

点运算①反转变换   s=(L-1)-r   （作用：黑的变白，白的变黑）

      ②对数变换 s=c log(1+r)  (有时原图的动态范围太大，超出某些显示设备的允许的动态范围，如直接使用原图，则一部分细节可能丢失，解决办法是对原图进行灰度压缩，如对数变换)

      ③幂次运算 s=c r的y次方

     y<1提高灰度级，在正比函数上方，使图像变亮

y>1降低灰度级，在正比函数下方，使图像变暗

      ④对比度拉伸

      ⑤灰度级切片

        A变换：关心范围指定较高值，其他指定较低值

        B 变换：关心范围指定较高值，其他保持不变

      ⑥6位平面切片

代数运算①加法：C(x,y) = A(x,y) + B(x,y)

               (作用：去除叠加性噪声，生成图像叠加效果)

        ②减法：C(x,y) = A(x,y) - B(x,y)

              （作用：显示两幅图像的差异，如：视频中镜头边界的检测

去除不需要的叠加性图案

图像分割：如分割运动的车辆，减法去掉静止部分，

剩余的是运动元素和噪声）

        ③乘法：C(x,y) = A(x,y) * B(x,y)

              （作用：图像的局部显示用二值蒙版图像与原图像做乘法

修正图像亮度不均匀性）

        ④除法：C(x,y) = A(x,y) / B(x,y)

               （作用：图像差异检测，修正图像亮度不均匀性）

逻辑运算①非：g(x,y)=255-f(x,y)

               （作用：获得一个阴图像，获得一个子图像的补图像）

        ②与：（作用：求两个子图像的相交子图）

        ③或：

        ④异或=或的减去与的

直方图均衡化

空间滤波器：平滑空间滤波器：平滑滤波/中值滤波(目的：改善图像质量，包括去除高频噪声与干扰及影像边缘增强、线性增强以及去模糊等)

            锐化空间滤波器

平滑滤波器——均值滤波/高斯滤波(权重的取值为高斯分布的近似值)

          ——中值滤波(一些和周围像素值差异特别大的点被周围的像素值代替。表现在 图像就是一些特别亮或者特别暗 的点被周围的像素值代替)

图像中两种常见的噪声

椒盐噪声：它是一种随机出现的白点或者黑点，即亮的区 域有黑色像素或是在暗的区域有白色像素，椒盐噪声的成因是图像信号受到突如其来的强烈干 扰而产生。椒盐噪声通常使用中值滤波降噪

高斯噪声：主要来源是在采集过程中产生的，例如由照明不良和/或高温引起的传感器噪声。

其概率分布上符合正态分布。高斯噪声通常使用平滑滤波进行降噪

锐化滤波器：作用：突出图像中的细节 ，增强被模糊了的细节

✓ 印刷中的细微层次强调。弥补扫描对图像的钝化  

✓ 超声探测成像，分辨率低，边缘模糊，通过锐化来改善

✓ 图像识别中，分割前的边缘提取

✓ 锐化处理恢复

非线性：Roberts交叉梯度算子

        Prewitt算子

        Sobel算子

        Laplacian拉普拉斯算子

        Canny算子

        锐化算子

傅里叶变换：

低通(平滑)滤波器(低频成分通过，去除（衰减）高频成分，图像中尖锐的细节被平滑)

1.理想低通滤波器2. Butterworth低通滤波器3. 高斯低通滤波器

高通(锐化)滤波器(高频成分通过，去除（衰减）低频成分，图像中边缘等细节被增强)

1.理想高通滤波器2. Butterworth高通滤波器3. 高斯高通滤波器

同态滤波器(可以解决加性噪声问题，无法消减乘性或卷积性噪声)

图像的几何变换

①平移变换

②比例缩放

③旋转变换

④对称变换

⑤错切变换

⑥复合变换：仿射变换和投影变换

⑦投影变换

插值算法：

1. 最近邻插值法（nearest neighbor interpolation)(对待定的像素值，直接取其最近的像素的像素)(缺点是插值生成的图像灰度上的不连续，在灰度变化的地方可能出现明显的锯齿状)

1. 双线性插值法（bilinear interpolation)（拓展到二维）   

3. 双三次插值法（bicubic interpolation)

图像分割

目的：将256级的灰度图通过合适的阈值，转换为背景和前景两个部分，得到黑白二值图

即阈值分割后的图像中像素只有0，1两种取值（或0和255）

其目的通常为将图像的前景和背景进行分割，便于进一步的图像处理分析

全局阈值分割

使用单一阈值对画面中的所有像素进行分割 。 通常可以分割直方图具有双峰性的图像

P-tile法

需要预先获得图像中前景占完整画面的比值 p % , 依次累积灰度直方图，直到该累积值大于或等于前景图像（目标）所占面积，此时的灰度级即为所求的阈值

最小误判概率法

大津法（OTSU法）

大津法考虑最佳的阈值应该使类内方差尽可能小，类间方差尽可能大

自适应阈值分割

a . 将图像分成多个子区域

b. 对每个区域求解阈值

c. 通过插值法计算每个像素的阈值

连通域分析

Two - pass（等价表法）

种子填充法

Hough变换

由于噪声/照明等产生边缘间断，使得一组像素难以完整形成边缘

一种检测/定位直线和解析曲线的方法

把二值图变换到Hough参数空间

在参数空间用极值点的检测完成目标的

图像形态学：

集合A与B：并集/交集/补集/差集

            集合平移

            集合反射

            膨胀运算

            腐蚀运算

开运算：先腐蚀再膨胀

闭运算：先膨胀再腐蚀

击中击不中变换（hit-miss transform)

图像特征描述：

可区分性（能够反映图像的本质特点）/鲁棒性（旋转，光照，尺寸等）/维度（可区别性和鲁棒性的平衡）

1. 颜色特征：将RGB值转化为HSV格式，并将HSV值量化后一维展开。

          色调H 8等分化，饱和度S 2等分化，亮度V 4等分化     

1. 形状特征 面积：连通域像素总数

         周长：边界像素的总数，或相邻边界像素的距离总和

1. 圆形度：如果F是区域的面积，max是从中心到所有轮廓像素的最大距离，则圆形度定义为：
2. 紧凑度：如果F是连通域的面积，L是连通域的周长，则紧凑度定义为：

圆的形状系数C为1，如果该区域较长或具有孔，则C大于1

1. 矩形度：最小外接矩形和连通域面积的比值
2. 宽长比：长轴和短轴的比值
3. 链表：描述外接轮廓的形状 →0↑1←2↓3 用数字表示
4. 形状上下文：描述形状在空间上的分布

图像的局部特征：局部特征对遮挡具有一定的鲁棒性

角点特征：目标轮廓上曲率的局部极大值，是二维图像亮度变化剧烈的点，或两条线的交叉处

角点检测算法基本思想：用一个固定窗口在图像上进行任意方向上的滑动，比较滑动前后像素灰度变化程度，如果有较大的灰度变化，就认为存在角点

SIFT特征(尺寸不变特征变换)，具有尺度鲁棒性，旋转鲁棒性，光照鲁棒性，包括了特征点筛选和特征点描述的步骤

DOG特征点检出

图像金字塔

DOG极值检出

极值的性质：对尺寸变换具有鲁棒的点

特征点描述

HOG特征

HOG的主要步骤

模式识别

1．SVM体系

2. 神经网络体系

分类：1.监督学习2.无监督学习3.半监督学习4.强化学习

监督学习：

最近邻算法(Nearest Nighbor，NN)：特征空间中与待测样本最近的训练样本决定了待测样本的类别。

K-最近邻算法(k-NearestNighbor，kNN))：在特征空间中的k个最相邻的样本中的多数属于某一个类别，则该样本也属于这个类别

支持向量机(Support Vector Machine，SVM)：监督学习的一种，是一个典型的二分类模型

无监督学习

数据并不被特别标注，学习模型是为了推断出数据额的一些内在结构聚类算法为典型的无监督学习

K-means

神经网络

激活函数

无激活函数，线性叠加得到的分类器始终为线性的，添加激活函数，可以得到非线性分类器

正向传输：