机器视觉处理步骤

我们所说的图像处理实际上就是**数字图像处理**，
是把真实世界中的**连续三维随机信号投影到传感器的二维平面上**，
采样并**量化后得到二维矩阵**。数字图像处理就是二维矩阵的处理，
而**从二维图像中恢复出三维场景就是计算机视觉的主要任务之一**。
这里面就涉及到了图像处理所涉及到的三个重要属性：**连续性，二维矩阵，随机性**。
所对应的数学知识是高等数学**（微积分），线性代数（矩阵论），概率论和随机过程**。
这三门课也是考研的三门课，构成了图像处理和计算机视觉最基础的数学基础。
如果想要更进一步，就要到网上搜搜林达华推荐的数学数目了。
2. 信号处理图像处理其实就是**二维和三维信号处理**，
3. 而处理的信号又有一定的随机性，
4. 因此经典信号处理和随机信号处理都是图像处理和计算机视觉中必备的理论基础

—

一、基本概念与原理

1.图像的组成：指的是图像的光学组成概念。
图像是由很多具备色彩种类、亮度等级信息的基本像素点组成的，
是二维图像用有限数字数值像素的表示。而数字图像又称为数码图像、数位图像。

2.基本过程：

图像识别通常有轮廓识别、特征识别、色彩识别、物体识别等，
其中轮廓识别是重中之重。而图像识别的基本流程为：
信息获取图像采集->图像预处理得到特征数据->训练过程->识别。

3.几个基本概念：

3.1模式识别：大致分为结构方法和决策理论方法（又称统计方法）。
常用方法之一是模板匹配，即在输入图像上不断切割出临时图像，
再与模板图像进行匹配。

3.2支持向量机（SVM）：SVM是从线性可分情况下的最优分类超平面发展而来的。
它是一种分类器，是一种可训练的、基于结构风险最小化原则的通用机器学习方法
，时线性化和升维的过程。

3.3OpenCV:基于BSD许可证授权发行的跨平台计算机视觉库。

3.4LIBSVM：一个简单、易于使用的SVM模式识别与回归软件包。

–

1.智能识别车牌

1.1图像特征提取

1.1.1像素特征提取：将图像像素点黑白二值化（黑色为1，白色为0）。对1和0进行排列，
通过维数和像素点个数确定对应的向量矩阵。

1.1.2骨架特征提取：图像线条宽度会影响识别效果，所以要先对轮廓的宽度进行统一处理，
再进行骨架特征提取，得到对应的特征向量矩阵。

1.1.3图像特征点提取：主要方法有梯度统计、弧度统计、角点提取等。原理是将字符均分为8个模块，
计算黑色像素点个数作为8个象限的特征。

 

1.2图像分割

1.2.1灰度转化：对256色位图图像进行灰度化处理，转化为灰度图像。

1.2.2二值化：将灰度图像中像素进行灰度值获取分化，处理为黑白二色，结合阈值法得到转化后的图像。

1.2.3梯度锐化处理：常用方法为微分法和高通滤波法。利用微分法求得梯度，
利用差分运算近似值计算图像边缘的像素值，可以使边缘模糊的图像清晰化。

1.2.4噪声处理：图像处理时有明显的信号集中时，扫描周边信号，若信号强烈且在一定范围内，
则认为是非离散信号；若周边信号较弱，则认为是离散信号，需要去除。

1.2.5车牌字符分割算法：主要有垂直投影法、静态边界法及连通区域法。
垂直投影法利用字符块块在垂直方向上的投影的特点展开；静态边界法利用车牌的模板进行分割；
连通区域法利用字符连通域的特点对车牌字符进行分割。

1.2.6同一图像中对不同尺寸、位置的字符进行归一处理：通过等比例缩放、归一处理等方法，
将不同的字符图像转化为相对统一的字符，提高识别准确率。

 

2.人脸识别

人脸识别技术主要可以分为三类：基于几何特征的方法、基于模板的方法和基于模型的方法。

2.1基于几何特征的方法

是最早、最传统的方法，需与其它算法相结合才有较好效果。
几何特征最早用于人脸侧面轮廓的描述与识别。
首先根据侧面轮廓曲线确定若干显著点，并由这些点导出一组用于识别的特征度量（如距离、角度）。

可变模型法可视为几何特征方法的一种改进。其思想是设计一个参数可变的器官模型。定义一个能量参数，
通过调整模型参数使能量函数最小化，此时的模型参数即作为该器官的几何特征。

 

2.2特征脸法

又称为基于主成分分析（PCA）的人脸识别方法。其基本思想是从统计的观点，
寻找人脸图像分布的基本元素，即人脸图像样本集协方差矩阵的特征向量，以此近似的表征人脸图像。

 

2.3基于弹性模型的方法

Lades等人针对畸变不变形的物体识别提出了动态链接模型。
将物体用稀疏图形来描述，应用塑形图形匹配技术来寻找最近的已知图形。
Nastar将人脸图像建模成可变形的3D网格表面，
将人脸匹配的问题转化为可变性曲面的弹性匹配问题。
Lanitis等提出灵活表现模型方法，
通过定位人脸的显著特征点将人脸编码为83个模型参数，
并利用辨别分析的方法进行基于形状信息的人脸识别。

弹性图匹配技术是一种基于几何特征和对灰度分布信息进行小波纹理分析相结合的识别算法，
由于该算法较好的利用了人脸的结构和灰度分布信息，
而且还具有自动精确定位面部特征点的功能，因而具有良好的识别效果，
适应性强识别率较高，
该技术在FERET测试中若干指标名列前茅，其缺点是时间复杂度高，速度较慢，实现复杂。

 

2.4神经网络方法

神经网络算法可以通过学习的过程获得对这些规律和规则的隐性表达，
它通过需要将人脸作为一个一维向量输入，因此识别的一个重要目标就是降维处理。

Valentin提出一种方法，首先提取人脸的 50个主元，
然后用自相关神经网络将它映射到 5维空间中，
再用一个普通的多层感知器进行判别，对一些简单的测试图像效果较好；
Intrator等提出了一种混合型神经网络来进行人脸识别，
其中非监督神经网络用于特征提取，而监督神经网络用于分类。
Lee等将人脸的特点用六条规则描述，然后根据这六条规则进行五官的定位，
将五官之间的几何距离输入模糊神经网络进行识别，
效果较一般的基于欧氏距离的方法有较大改善，Laurence等采用卷积神经网络方法进行人脸识别，
由于卷积神经网络中集成了相邻像素之间的相关性知识，
从而在一定程度上获得了对图像平移、旋转和局部变形的不变性，
因此得到非常理想的识别结果，Lin等提出了基于概率决策的神经网络方法 (PDBNN),
其主要思想是采用虚拟 (正反例 )样本进行强化和反强化学习，
从而得到较为理想的概率估计结果，并采用模块化的网络结构 (OCON)加快网络的学习。