第一章 绪论
1. 基本概念
- 视觉与图像成像:
- 人类视觉具有多义性、错觉等特点。人眼在观察均匀黑区与白区形成的边界时有暗区更暗,亮区更亮的感觉,更黑更亮的带叫做Mach带
- 机器视觉:通过电子化感知和理解(数字)图像,以模拟、模仿人类视觉系统
- 图像感知与获取:
- 照射源:具有能量的电磁波,波长不一样,能量不一样
- 图像采样与量化:
- 模拟图像:通过某种连续物理量,比如光或电等的强弱变化来记录图像亮度信息
- 数字图像:采用数字表示方式记录图像亮度信息,使用计算机存储与处理。数字图像可通过模拟图像采样和量化得到
- 采样:使用空间分辨率来表示采样的精度。空间分辨率为衡量将模拟图像转化为数字图像的空间精度。
- 量化:使用亮度分辨率来衡量图像亮度的量化精度。
4. 图像存储与格式
- 数字图像格式:文件存放在记忆卡上的格式、压缩方式,如BMP、JPEG、GIF、PNG等
- BMP格式:采用为映射存储格式,与硬件设备无关,处理色彩分辨率可选以外,不采用其他任何压缩。按从左到右、从下到上的顺序扫描。
- JPEG格式:采用有损压缩去除图像数据中的冗余信息,可在获取极高的压缩率的同时保持图像质量。
- PNG格式:便携式网络图像格式,存储量相对小,压缩比高
2. 图像直方图
- 直方图定义
2. 直方图的性质
一副图像具有特定唯一的直方图,但反之不一定成立,因为灰度直方图只考虑了每一灰度级出现的次数
- 直方图的应用
- 图像增强:使用直方图均衡
- 图像分割:根据直方图获取分隔阈值
- 图像分类:直方图对比
第二章 图像增强–空间域
2.1 引言
- 为什么要进行图像增强:因视觉效果不佳;噪声污染;难以分析理解等原因,需要改善图像的视觉效果,使得图像更适于分析
- 图像增强:按照特定的需要突出或去除图像中的某些信息。图像增强没有增加图像中的信息量,有可能还会损失,且没有特定的标准。
- 如何增强:
- 灰度变换:使人眼视觉敏感区拥有多个像素
- 代数运算
- 空间域滤波
- 频域滤波
2.2 灰度变换
- 线性变换
分段线性变换
- 非线性变换:
- 对数变换
- 幂次变换
幂次变换的窄带拉伸:У <=的情况,适用于将低灰度输入图像变换为宽带输出图像
2.3 直方图均衡
- 公式推导
- 如何解决以下问题?
推导结果:其中
H
A
H_{A}
HA 是离散的
计算示例:
- 直方图均衡应用:人脸识别
将一组人脸图像的像素进行直方图均衡后再识别
2.4 代数运算
- 加法运算
- 减法运算
将人的区域分割出来
- 乘法运算
2.5 空间域滤波
- 系统:接收输入,产生输出
- 分析:输入与输出之间的对应关系
若求 y ( j , i ) y(j,i) y(j,i)是通过以下公式的话,称此方法为空间域滤波
- 一维均值滤波器
- 二维均值滤波器
图像均值滤波器
- 高斯滤波器:对中心滤波点做了加权
- 图像滤波器应用:
去除噪声
提取感兴趣物体
低通滤波器使得图像更加平滑
2.6 空间域滤波中值滤波
- 中值滤波器:每三位就取中间值,这样既可以去除噪声,又可以保留边缘。这使得图像更突出亮或暗的点,让像素点更接近它周边的点,并消除孤立的亮点或暗点
2.7 空间滤波高通
- 图像锐化:通过微分运算(低通为积分运算以平滑图像)突出图像的细节特征并增强图像模糊的边缘
- 基于梯度的图像增强方法:将原始图像与边缘图像叠加
- 基于一阶差分的图像增强
Robert算子
Prewitt算子
示例:
sobel算子:对中间点进行加权
- 基于二阶差分的图像增强
Laplace算子
- 一阶差分算子和二阶差分算子的区别
- 一阶差分算子和二阶差分算子的比较
实际使用哪一个算子需要视情况而定
第二章 图像增强-频域
2.8 二维傅里叶变换定义
- 频域滤波:连续周期信号可以表示为一系列不同频率的正弦波的线性叠加
- 连续时间非周期信号的傅里叶变换
- 一维离散信号傅里叶变换
- 二维离散信号傅里叶变换
其中
变换示例:
- 数字图像傅里叶变换特点
2.9 二维傅里叶变换性质
- 平移特性:频谱转移到中心点
- 旋转特性:在空间域图像旋转 Θ 0 \varTheta_{0} Θ0,频谱同样旋转 Θ 0 \varTheta_{0} Θ0
- 尺度变换(缩放)
- 卷积特性:时域或空间域的卷积对应频域的乘积,时域或空间域的乘积对应频域的卷积
- 相关性质
- 分离性质
2.10 频域滤波低通
- 原理
- 理想低通滤波器
D 0 值 不 同 时 的 效 果 D_{0}值不同时的效果 D0值不同时的效果
因为人脸含有更多的高频细节,故低通滤波后将变模糊
- 振铃现象
- Butterworth低通滤波器:2阶的Butterworth低通滤波器有效低通,振铃现象可忽略
- 高斯低通滤波:随着截止频率提高,保留的高频成分越多,且无振铃现象。但不能达到相同截止频率的Butterworth低通滤波器的平滑效果。
- 低通滤波应用:在有栅格影响图像时过滤栅格;人脸去皱纹;文本中字符失真和断裂的修复
2.11 频域滤波高通
- 定义:高频成分铜鼓,去除低频成分。图像中边缘等区域被增强
- 理想高通滤波器:振铃现象严重
- Butterworth高通滤波器:有轻微振铃现象
- 高斯高通滤波器:无振铃现象,通常效果比理想高通和Butterworth高通更平滑
2.12 频域滤波同态滤波
- 作用:基于图像成像模型,在频域压缩灰度动态范围增强对比度。
人眼主要看的是反射分量,即 R ( x , y ) R(x,y) R(x,y)
- 基于Retinex滤波方法
第三章 图像形态学处理
3.1 基本概念
- 数学形态学:建立在集合代数的基础上,用集合论方法定量描述目标几何结构的学科
- 图像数学形态学处理:以形态为基础对图像进行分析的数学工具,用具有一定形态的结构元素度量和提取图像中的对应形状,以达到对图像分析和识别的目的。
- 集合论:交、并、补、差、平移
3.2 数学形态学处理
-
膨胀: A A A被 B B B膨胀的定义为,对 B B B的反射 B ^ \hat{B} B^进行平移,使之与A的交集不为空的点的集合。它将与物体接触所有背景点合并到该物体中,使边界向外部扩张的过程,可以用来填补物体中的空洞
-
腐蚀: A A A被 B B B腐蚀的定义为,将 B B B平移 z z z之后, ( B ) z (B)_{z} (B)z被包含在A的点的集合。它主要消除边界点,使边界向内部收缩,用来消除小且无意义的物体
-
腐蚀和膨胀的应用:检测特定像素大小的结构元素,使用腐蚀消除图像的细节部分,产生滤波器的作用。
-
二值图像的逻辑运算:或运算对应膨胀,与运算对应腐蚀
3.3 图像形态学处理应用
- 开运算:先腐蚀再膨胀。用来消除小物体、在纤细处分离物体。平滑较大物体的边界同时并不明显改变其面积。
- 闭运算:先膨胀再腐蚀。用来填充物体内细小空洞,连接近邻物体,平滑其边界的同时并不明显改变其面积
- 开闭运算的运用:边界提取;识别物体形状(击中击不中变换:用两个结构元素分别探测图像内部和外部,从而确定物体形状)
第四章 图像分割
4.1 引言
- 为什么进行图像分割:先找到感兴趣区域,再分析感兴趣区域
- 什么是图像分割:将图像划分为若干互不相交的小区域。其中,区域为具有共同属性的像素的连通集合;属性包括灰度、颜色、纹理和同一个模式
4.2 基于阈值的分割算法
- 阈值选取:直方图技术、最小误差阈值法,最大方差阈值法
- 直方图技术:峰谷分割;采用全局阈值的分割方法;直方图均衡法(双阈值法实现肝脏区域分割)
- 最小误差阈值法
- 最大方差阈值法(大津阈值法):算法可操作性强,直方图是否有双峰均可得到满意效果
4.3 基于边缘的分割算法
-
应用:点检测、线检测、边缘检测
-
边缘提取方法:使用一阶或二阶导数;图像高通滤波器(保留高频部分),包括多个算子
-
Canny算子:
4.4 霍夫变换
- 问题及解决方法:
- 问题:由于噪声、照明等产生边缘间断,使得一组像素难以完整形成边缘,及此时的边界点是不连续的。
- 解决方法:这时就需要连接边界点已构成完整的边界图形描述。即对于边界山的n个点的点集,求共线的点集以及直线方程。
- Hough变换:在参数平面中相交直线最多的点,对应的 x x x, y y y平面的直线即为所求的直线
4.5 基于区域的分割算法
- 定义:利用图像像素的空间性质分割出有相似性质属于同一个区域的像素。通常有区域生长法和分裂合并法两种。
- 区域生长法
- 如何确定种子像素:人机交互式分割(医学图像)、基于直方图分割结果
- 如何确定种子像素之间相似性:基于区域灰度差(阈值选取不对会有欠分割和过分割两种现象)、基于区域灰度分布统计性质
- 区域分裂合并法
示例:
第五章 贝叶斯决策
5.1 人工智能
- 图灵测试、中国屋思考实验:即使通过图灵测试也不能证明计算机具有思维能力
- 人工智能发展的里程碑:
- 大规模知识库、知识搜索、并行分布式计算
- 深度神经网络、强化学习、蒙特卡洛树搜索
5.2 机器学习
5.3-5.4 贝叶斯公式
- 最小错误决策
- 最小风险决策
注:两者在0-1情况下的结果相同
5.6-5.7 判别函数
- 参数法:极大似然函数
- 非参数法
第六章 神经网络
6.1 人工神经网络
主要方法
6.2 单层神经网络(单层感知机)
使用的是线性分类函数
Hebb学习规则
6.3 多层神经网络
使用的非线性函数