人眼视觉系统
图像or视频是用来看的
基于感知的图像处理
- 关注视觉感知的重要信息;
- 丢弃视觉感知不重要的信息
- Luminance:物理世界的亮度值(学术上更偏向于使用该词);
- Brightness:人眼主观感知的亮度值;
对比度:一副图像中最亮最暗的差比二者的和;
- 低对比度的图像:灰度直方图堆积在某一地方;
- 高对比度的图像:灰度直方图分布比较均衡。
左低对比度,右高对比度。
Mach Band:一楞一楞的;
右图虚线为人眼感知到的灰度值,会有一个峰值,因此我们看到会有一个灰度条、一个灰度条这样的感觉。
每张图像中的像素值为什么用8bit来表示?
256个等级的时候人眼感官光滑,512个等级更光滑,但人眼已感受不到差异,反而浪费存储空间。
同一张图像,看你如何解释,存在所谓的歧义性 。
色彩空间和图像评价标准
人眼可见光,380~700nm。
RGB三轴,原点为黑点。
一般彩色打印机会有上述4种颜色(cyan蓝绿色,magenta品红,yellow黄色,但三种颜色并不能合成黑色,因此通常会多一种黑色)。
RGB值转亮度值。
RGB空间并非完美的色彩空间。
- 感知非线性,因此压缩时经常从RGB空间转到YUV空间。
主观的方式;
客观的方式:
- 平均误差与变化量;
- 优点:简单、更少地依赖主观条件、可以用数学公式直接来计算;
- 缺点:并不一定能反应人眼的感官效果。
均方误差
表示原始图像,
表示经过图像处理后得到的新图像,
为数学上的期望值,因此需要知道
、
的概率密度函数,通常情况下是不知道的,因此公式1很难计算;
、
表示图像高度和宽度,即对应像素点之差的平方和,再除以高度和宽度(平均平方误差);
- 公式3是二者的结合。
信噪比
表示原始图像变换的方差,
表示原始图像与处理后图像之间误差的方差,二者之比即信噪比;
- PSNR峰值信噪比,A表示最大的值,对于0~255的灰度图,即255。
SSIM不像PSNR只关注全局,而是计算局部的值,Why:
- 图像的统计特征通常不是平稳的随机过程,是非平稳的随机过程;
- 图像在处理后必然与原图存在失真distortions,会随着图像不同的位置有变化,即随着空间位置的改变失真值会有改变;
- 由于人眼视觉系统的眼窝特性(fovea feature),人眼系统在一个时间段内观察图像时,往往只能以高分辨率感知图像中的局部区域;
- 局部质量测量可以提供一个控件变化的图像质量图,它提供了更多关于图像质量退化的信息,在某些应用中可能是有用的。
在11x11的窗口内,为对应像素与权重的乘积求和;
为加权的方差值,
为加权的协方差的值。
为具体的值,论文中有给出,SSIM最终为亮度比较函数、对比度比较函数和结构相似度的乘积。