CV基础（图像预处理）

CV基础

1.课程概述

1.1 计算机视觉的研究理论和应用

（1）模拟人类视觉的优越能力
（2）弥补人类视觉的缺陷

1.2 主要研究维度

•语义感知（semantic）

•几何属性（Geometry）

Tips

（1）神经网络不断增加层数一定会导致过拟合
（2）工业领域没有大量样本之前需要数据增强方式去获取数据
（3） OpenCL•URL: http://opencv.org/
（4）Caffe•函数库：http://caffe.berkeleyvision.org
（5）Torch(PyTorch)•函数库：URL: https://torch.ch(http://pytorch.org/)
（6）Tensorflow：https://www.tensorflow.org/
（7）Keras：兼容 Theano 和 Tensorflow 的深度学习高级包， https://keras.io

tensorflow基础

1.使用图 (graph) 来表示计算任务.
2. 在被称之为 会话 (Session) 的上下文 (context) 中执行图.
3. 使用 张量(tensor) 表示数据.
4. 通过 变量 (Variable) 维护状态.
5. 使用 feed 和 fetch 可以为任意的操作赋值或者从其中获取数据

图像预处理

1.颜色空间和图片处理

1.1彩色的三要素

亮度：即人眼对光的明亮程度的感受。
色调：人眼能看到的颜色种类，与光的波长有关
饱和度：颜色深浅程度。与各种颜色混入白光的比例有关。
以上 色调 + 饱和度 = 色度

1.2.基本颜色空间（常用的四种颜色空间）

1.2.1 RGB颜色空间

RGB彩色空间利用相加混合法将三个彩色分量按照不同的比例叠加，最终就可以在屏幕中显现出各种颜色。

任意的彩色光F都有一个配色的公式：F = r[R]+g[G]+b[B]
式中r，g，b为系数，r+g+b=1。故，知其二便可唯一确定色调。

此外对于一个像素颜色值的表示可以是（B,G,R）
取值范围：[0, 255] 或者[0.0, 1.0]

1.2.2CMY(K)颜色空间

•减法混色，印刷
•4通道
•Cyan通道•Magenta通道•Yellow通道•Key通道
•一个像素颜色值:（c, m, y, k）
•取值范围•[0, 255]•[0.0, 1.0]

1.2.3 HSV颜色空间

1.2.4 CIE-XYZ颜色空间

1.3 图片存储原理

（1）分成三个通道然后去保存：
RGB三通道彩色图：图片转成3维矩阵（[0,255]）
（2）把图片灰度化存储：
单通道灰度图：亮度信息（[0,255]）
** Gray=Rx0.3+Gx0.59+Bx0.11**

常见的存储的格式有：bmp, jpg, png, tiff, gif, pcx, tga, exif, fpx, svg, psd, cdr, pcd, dxf, ufo, eps, ai, raw, WMF, webp等

2 图像处理

2.1 空间域处理-点运算（HE、CLAHE）

2.1.1 特征提取方法

通过直方图对图片数据/特征分布进行统计，包括以下特征：
•灰度、颜色
•梯度/边缘、形状、纹理
•局部特征点、视觉词汇

•区间（bin）----如上图区间就是5
•具有一定的统计或物理意义
•一种数据或特征的代表
•需要预定义或基于数据进行学习
•数值是一种统计量：概率、频数

所以实际上直方图就是对数据空间（bin）进行量化

2.1.2 HE（直方图均衡化）

定义：利用图像直方图对对比度进行调整的方法。
均衡化的基本思想是：尽量使得每个灰度级的像素数量相等。即不存在大片的相似像素，提高图像的对比度。

从下图的对比上看HE的实质上是对图像进行非线性拉伸，重新分配各个灰度单位中的像素点数量，使一定灰度范围像素点数量的值大致相等：
进行HE操作以后，值变化不大，但是被拉开了：

（1）作用：直方图均衡化通常用来增加许多图像的局部对比度，尤其是当图像的有用数据的对比度相当接近的时候。
直方图均衡化以后，亮度可以更好地在直方图上分布。这样就可以用于增强局部的对比度而不影响整体的对比度，直方图均衡化通过有效地扩展常用的亮度来实现这种功能。

（2）缺点：无法处理图片中明显亮或者明显暗的部分，而且拉伸后有些灰度级可能不被映射到，造成图像观感上的颗粒感。

2.1.3 AHE（自适应直方图均衡）

对于图片中明显亮或者明显暗的部分，可以使用AHE进行操作

实质上AHE是通过对局部区域进行直方图均衡，步骤如下：
（1）移动模板在原始图片上按特定步长滑动
（2）每次移动后，模板区域内做直方图均衡
（3）映射后的结果赋值给模板区域内所有点
（4）每个点会有多次赋值，最终的取值为这些赋值的均值。

问题点：AHE 对局部对比度提高过大，会导致图像失真。而且会放大噪声。

2.1.4 CLAHE（限制对比度自适应直方图均衡）

限制对比度的本质就是相当于限制Hist的幅度。
因此具体操作是对子块中统计得到的直方图进行裁剪，使其幅值低于某个上限，当然裁剪掉的部分又不能扔掉，我们还需要将这部分裁剪值均匀地分布在整个灰度区间上，以保证直方图总面积不变：

由于AHE和CLAHE都是利用模板对于子块进行操作，所以会造成最终图像呈块状效应，这里需要引入一个插值来保证连贯性：
插值方法解析：
（1）小黑点的灰度直接由映射函数计算得到；
（2）粉色区域内点的灰度由映射函数计算而得；
（3）绿色区域内点的灰度由由相邻2块灰度映射值线性插值而得；
（4）其他区域所有点的灰度由相邻4块的灰度映射值双线性插值而得。
通过双线性插值可以基本消除块状效应

具体CLAHE的步骤如下：
1.图像分块，以块为单位；
2.先计算直方图，然后修剪直方图，最后均衡；
3.遍历操作各个图像块，进行块间双线性插值；
4.与原图做图层滤色混合操作。（可选项！！）

2.1.5 OpenCV代码实现

import cv2 as cv
import matplotlib.pyplot as plt

img = cv.imread('timg.jpg', 0)  # 直接读为灰度图像
# 直方图均值化
he = cv.equalizeHist(img)

# CLAHE(阈值上限是2，子块大小为10*10)
clahe = cv.createCLAHE(clipLimit=2, tileGridSize=(10, 10))
cl1 = clahe.apply(img)

plt.figure(figsize=(40, 16), dpi=160)
plt.subplot(131), plt.imshow(img, &#