Opencv学习笔记

1.计算机眼中的图像

图片以及视频每一个位置都是由像素点构成，范围在0-255之间

0代表黑色，255代表白色

0-255代表其他颜色

2.边界填充

BORDER_REPLACE:复制法，复制边缘的像素

BORDER_REFLECT:反射法，对感兴趣的图像的像素进行两边复制

BORDER_REPLACE_101:反射法，是以最边缘的作为轴来进行反射

BORDER_WRAP:外包装法

BORDER_CONSTANT:常量法，用常数值来填充

3.阈值

什么是阈值？

• 最简单的图像分割的方法。
• 应用举例：从一副图像中利用阈值分割出我们需要的物体部分（当然这里的物体可以是一部分或者整体）。这样的图像分割方法是基于图像中物体与背景之间的灰度差异，而且此分割属于像素级的分割。
• 为了从一副图像中提取出我们需要的部分，应该用图像中的每一个像素点的灰度值与选取的阈值进行比较，并作出相应的判断。（注意：阈值的选取依赖于具体的问题。即：物体在不同的图像中有可能会有不同的灰度值。
• 一旦找到了需要分割的物体的像素点，我们可以对这些像素点设定一些特定的值来表示。（例如：可以将该物体的像素点的灰度值设定为：‘0’（黑色）,其他的像素点的灰度值为：‘255’（白色）；当然像素点的灰度值可以任意，但最好设定的两种颜色对比度较强，方便观察结果）。

阈值化的类型

• OpenCV中提供了阈值（threshold）函数： threshold。
• 这个函数有5种阈值化类型，在接下来的章节中将会具体介绍。
• 为了解释阈值分割的过程，我们来看一个简单有关像素灰度的图片，该图如下。该图中的蓝色水平线代表着具体的一个阈值。

阈值类型1：二进制阈值化

cv2.THRESH_BINARY

• 该阈值化类型如下式所示:

• 解释：在运用该阈值类型的时候，先要选定一个特定的阈值量，比如：125，这样，新的阈值产生规则可以解释为大于125的像素点的灰度值设定为最大值(如8位灰度值最大为255)，灰度值小于125的像素点的灰度值设定为0。

阈值类型2：反二进制阈值化

cv2.THRESH_BINARY_INV THRESH_BINARY

• 该阈值类型如下式所示：

• 解释：该阈值化与二进制阈值化相似，先选定一个特定的灰度值作为阈值，不过最后的设定值相反。（在8位灰度图中，例如大于阈值的设定为0，而小于该阈值的设定为255）。

阈值类型3：截断阈值化

cv2.THRESH_TRUNC

• 该阈值化类型如下式所示：

• 解释：同样首先需要选定一个阈值，图像中大于该阈值的像素点被设定为该阈值，小于该阈值的保持不变。（例如：阈值选取为125，那小于125的阈值不改变，大于125的灰度值（230）的像素点就设定为该阈值）。

阈值类型4：阈值化为0

cv2.THRESH_TOZERO

• 该阈值类型如下式所示：

• 解释：先选定一个阈值，然后对图像做如下处理：1 像素点的灰度值大于该阈值的不进行任何改变；2
  像素点的灰度值小于该阈值的，其灰度值全部变为0。

阈值类型5：反阈值化为0

cv2.THRESH_TOZERO_INY THRESH_TOZERO

• 该阈值类型如下式所示：

• 解释：原理类似于0阈值，但是在对图像做处理的时候相反，即：像素点的灰度值小于该阈值的不进行任何改变，而大于该阈值的部分，其灰度值全部变为0。

4.图像平滑处理

目的：消除噪声点

1）均值滤波：简单的平均卷积处理

2）方框滤波：基本和均值一样，但容易越界（超过255）

3）高斯滤波：卷积核满足高斯分布，相当于更重视中间的，比如3*3矩阵，选择的像素点就是中间的

4）中值滤波：卷积核中的像素大小按从小到大或从大到小排列，取中间值。

以上四种发方法中值滤波最好

5.腐蚀操作

就比如一个照片的背景是黑的，用白色的线条写1个字，进行腐蚀之后，线条会变细，这就是都市操作，被腐蚀的用像素点0来代替也就是黑色

6.膨胀操作

相反与腐蚀，膨胀则是把线条加粗，膨胀的区域用像素点255来代替，也就是白色

7.开运算与闭运算

开运算：先腐蚀，在膨胀

闭运算：先膨胀，在腐蚀

两者运算进行之后，不一定与原图保持一致

8.梯度运算

梯度=膨胀-腐蚀

9.礼帽和黑帽

礼帽=原始输入-开运算

黑帽=闭运算-原始输入

10.图像梯度

Sobel算子

图像梯度的计算，又上下，左右之分，Gy，Gx

dst=cv2.Sobel(scr,ddepth,dx,dy,ksize)

ddepth=代表图像的深度

dx，dy代表水平和竖直方向

ksize代表Sobel算子的大小

在opencv中通常的取值范围为0-255，当取到负数时如-243，则取绝对值

白到黑是正数，黑到白是负数，负数取绝对值

通常进行梯度计算时，要分别计算x，y。如果统一计算，会有重影，效果可能会比分开计算时的效果要差

Scharr算子

与Sobel算子一样只不过范围扩大了

11.Canny检测

Canny边缘检测算法可以分为以下5个步骤：

1. 应用高斯滤波来平滑图像，目的是去除噪声

2. 找寻图像的强度梯度（intensity gradients）

3. 应用非最大抑制（non-maximum suppression）技术来消除边误检（本来不是但检测出来是）

4. 应用双阈值的方法来决定可能的（潜在的）边界

5. 利用滞后技术来跟踪边界

12.非极大值抑制

线性插值法：设g1的梯度幅值M(g1），g2的梯度幅值M(g2),则dtmp1可以得到M(dtmp1)=w*（M(g2)）+（1-w）*M(g1）。w可以理解为距离目标所占的权值。w=X1/X1+X2

双阈值检测

梯度值>maxval   则处理为边界

minval<梯度值<maxval  若连接边缘则保留，不连接则舍弃

梯度值<minval   直接舍弃

maxval minval 设置数值时或大或小时都为结果会产生影响

例如最小值设置较低没用的变成有用的，若最大值设值较高，有用的像素点变为无用的

13图像金字塔

1）高斯金字塔：向下采样法（缩小）

将Gi与高斯内核进行卷积

将所有偶数行和列去除

高斯金字塔：向上采样法（扩大）

将图像的每个方向扩大为原来的两倍，新增的行或列用0来填充

使用先前的内核与放大后卷积，获得近似值

2）拉普拉斯金字塔

在高斯金字塔的运算过程中，图像经过卷积和下采样操作会丢失部分高频细节信息。为描述这些高频信息，人们定义了拉普拉斯金字塔(Laplacian Pyramid， LP)。用高斯金字塔的每一层图像减去其上一层图像上采样并高斯卷积之后的预测图像，得到一系列的差值图像即为 LP 分解图像。

将Gl内插方法得到放大图像*Gl，使*Gl的尺寸与*Gl-1的尺寸相同，即放大算子Expand

该式子实现两个步骤：在偶数行和列插入0，然后使用下采样中的高斯核进行滤波处理，得到和l-1层一样大小的图像。