OpenMV学习笔记2——颜色识别

目录

一、打开单颜色识别实例代码

二、代码基础部分

 三、阈值选择

四、给识别到的颜色画框

五、多颜色识别 

---

 

一、打开单颜色识别实例代码

如图，双击打开对应文件即可进入实例代码。

二、代码基础部分

# Single Color RGB565 Blob Tracking Example
#
# This example shows off single color RGB565 tracking using the OpenMV Cam.

import sensor
import time
import math

threshold_index = 0  # 0 for red, 1 for green, 2 for blue

# Color Tracking Thresholds (L Min, L Max, A Min, A Max, B Min, B Max)
# The below thresholds track in general red/green/blue things. You may wish to tune them...
thresholds = [
    (30, 100, 15, 127, 15, 127),  # generic_red_thresholds
    (30, 100, -64, -8, -32, 32),  # generic_green_thresholds
    (0, 30, 0, 64, -128, 0),      # generic_blue_thresholds
]  

sensor.reset()
sensor.set_pixformat(sensor.RGB565)
sensor.set_framesize(sensor.QVGA)
sensor.skip_frames(time=2000)
sensor.set_auto_gain(False)  # must be turned off for color tracking
sensor.set_auto_whitebal(False)  # must be turned off for color tracking
clock = time.clock()

# Only blobs that with more pixels than "pixel_threshold" and more area than "area_threshold" are
# returned by "find_blobs" below. Change "pixels_threshold" and "area_threshold" if you change the
# camera resolution. "merge=True" merges all overlapping blobs in the image.

while True:
    clock.tick()
    img = sensor.snapshot()
    for blob in img.find_blobs(
        [thresholds[threshold_index]],
        pixels_threshold=200,
        area_threshold=200,
        merge=True,
    ):
        # These values depend on the blob not being circular - otherwise they will be shaky.
        if blob.elongation() > 0.5:
            img.draw_edges(blob.min_corners(), color=(255, 0, 0))
            img.draw_line(blob.major_axis_line(), color=(0, 255, 0))
            img.draw_line(blob.minor_axis_line(), color=(0, 0, 255))
        # These values are stable all the time.
        img.draw_rectangle(blob.rect())
        img.draw_cross(blob.cx(), blob.cy())
        # Note - the blob rotation is unique to 0-180 only.
        img.draw_keypoints(
            [(blob.cx(), blob.cy(), int(math.degrees(blob.rotation())))], size=20
        )
    print(clock.fps())

首先，还是要先导入所依赖的库，有“sensor”、“time”和“math”。 

代码的第九行定义了一个名为“threshold_index”的变量，注释上写明了0代表红色，1代表绿色，2代表蓝色。直接跳到13行代码可以看到，这里定义了一个成员为元组的列表，每个元组有六个值，分别代表了LAB的三个最大值与最小值，组合在一起即可表示一个颜色。每行后面的注释都写明了所代表的颜色。

注：LAB指的是一种特殊的颜色模式，Lab颜色模型由三个要素组成，一个要素是亮度（L），a 和b是两个颜色通道。a包括的颜色是从深绿色（低亮度值）到灰色（中亮度值）再到亮粉红色（高亮度值）；b是从亮蓝色（低亮度值）到灰色（中亮度值）再到黄色（高亮度值）。因此，这种颜色混合后将产生具有明亮效果的色彩。

 在循环中，我们通过“thresholds[threshold_index]”的方式来访问设定好的颜色中的某个成员的LAB参数。

接下来19~22行代码是重置感光元件、重置摄像机；设置颜色格式为RGB565；图像大小为QVGA；跳过2000帧使设置生效。这些都是上节见过的代码，这里不再赘述。

需要注意的是，在颜色识别中一定要关闭白平衡和自动增益，如果打开的话会影响颜色识别的效果，可能会使颜色的阈值发生改变。也就是23、24两行代码所代表的意思。

然后我们进入while循环。“img = sensor.snapshot”首先截取感光元件的一张图片，接下来在“img.find_blobs”这个函数中进行颜色识别。这个函数会返回一个列表，以下是函数原型：

image.find_blobs(thresholds, roi=Auto, x_stride=2, y_stride=1, invert=False, area_threshold=10, pixels_threshold=10, merge=False, margin=0, threshold_cb=None, merge_cb=None)

 可以看到，该函数有如下参数（以下内容来自官方文档）：

• thresholds是颜色的阈值，注意：这个参数是一个列表，可以包含多个颜色。如果你只需要一个颜色，那么在这个列表中只需要有一个颜色值，如果你想要多个颜色阈值，那这个列表就需要多个颜色阈值。注意：在返回的色块对象blob可以调用code方法，来判断是什么颜色的色块。

red = (xxx,xxx,xxx,xxx,xxx,xxx)
blue = (xxx,xxx,xxx,xxx,xxx,xxx)
yellow = (xxx,xxx,xxx,xxx,xxx,xxx)

img=sensor.snapshot()
red_blobs = img.find_blobs([red])

color_blobs = img.find_blobs([red,blue, yellow])

• roi是“感兴趣区”。在使用统计信息中已经介绍过了。

  left_roi = [0,0,160,240]
  blobs = img.find_blobs([red],roi=left_roi)

• x_stride 就是查找的色块的x方向上最小宽度的像素，默认为2，如果你只想查找宽度10个像素以上的色块，那么就设置这个参数为10：

  blobs = img.find_blobs([red],x_stride=10)

• y_stride 就是查找的色块的y方向上最小宽度的像素，默认为1，如果你只想查找宽度5个像素以上的色块，那么就设置这个参数为5：

  blobs = img.find_blobs([red],y_stride=5)

• invert 反转阈值，把阈值以外的颜色作为阈值进行查找

• area_threshold 面积阈值，如果色块被框起来的面积小于这个值，会被过滤掉

• pixels_threshold 像素个数阈值，如果色块像素数量小于这个值，会被过滤掉

• merge 合并，如果设置为True，那么合并所有重叠的blob为一个。
  注意：这会合并所有的blob，无论是什么颜色的。如果你想混淆多种颜色的blob，只需要分别调用不同颜色阈值的find_blobs。

all_blobs = img.find_blobs([red,blue,yellow],merge=True)

red_blobs = img.find_blobs([red],merge=True)
blue_blobs = img.find_blobs([blue],merge=True)
yellow_blobs = img.find_blobs([yellow],merge=True)

• margin 边界，如果设置为1，那么两个blobs如果间距1一个像素点，也会被合并。

 三、阈值选择

 打开如图所示的位置，在弹出的窗口中选择帧缓冲区，即可在摄像头捕捉到的画面内调整LAB的阈值。调整滑块，可以看到右边对应的图像也在做出变化。

 在弹出窗口的下方有一个LAB阈值的栏，右键即可复制当前滑块位置下的LAB阈值。

初次之外，我们也可以使用右下角的图像直方图来进行颜色阈值的选择。我们在下拉三角中选择LAB色彩空间，之后在右上角的图像中框出一个框框来，可以看到下面的直方图也在发生变化。

这里我们只需要按照顺序，将L的最小最大、a的最小最大、b的最小最大填进去，就写好了一个新的阈值。

如果我们不框住任何色块，下方的直方图就显示的是整个图像的色彩。

四、给识别到的颜色画框

代码中的“blob”是函数“find_blobs”所返回的对象列表，它包含以下内容（以下内容来自官方文档）：

• blob.rect() 返回这个色块的外框——矩形元组(x, y, w, h)，可以直接在image.draw_rectangle中使用。

• blob.x() 返回色块的外框的x坐标（int），也可以通过blob[0]来获取。

• blob.y() 返回色块的外框的y坐标（int），也可以通过blob[1]来获取。

• blob.w() 返回色块的外框的宽度w（int），也可以通过blob[2]来获取。

• blob.h() 返回色块的外框的高度h（int），也可以通过blob[3]来获取。

• blob.pixels() 返回色块的像素数量（int），也可以通过blob[4]来获取。

• blob.cx() 返回色块的外框的中心x坐标（int），也可以通过blob[5]来获取。

• blob.cy() 返回色块的外框的中心y坐标（int），也可以通过blob[6]来获取。

• blob.rotation() 返回色块的旋转角度（单位为弧度）（float）。如果色块类似一个铅笔，那么这个值为0~180°。如果色块是一个圆，那么这个值是无用的。如果色块完全没有对称性，那么你会得到0~360°，也可以通过blob[7]来获取。

• blob.code() 返回一个16bit数字，每一个bit会对应每一个阈值。举个例子：

  blobs = img.find_blobs([red, blue, yellow], merge=True)

如果这个色块是红色，那么它的code就是0001，如果是蓝色，那么它的code就是0010。注意：一个blob可能是合并的，如果是红色和蓝色的blob，那么这个blob就是0011。这个功能可以用于查找颜色代码。也可以通过blob[8]来获取。

• blob.count() 如果merge=True，那么就会有多个blob被合并到一个blob，这个函数返回的就是这个的数量。如果merge=False，那么返回值总是1。也可以通过blob[9]来获取。

• blob.area() 返回色块的外框的面积。应该等于(w * h)

• blob.density() 返回色块的密度。这等于色块的像素数除以外框的区域。如果密度较低，那么说明目标锁定的不是很好。
  比如，识别一个红色的圆，返回的blob.pixels()是目标圆的像素点数，blob.area()是圆的外接正方形的面积。

“img.draw_rectangle(blob.rect())”意思是如果识别到了制定的颜色，我们就在这个色块周围画一个框框把它圈出来。“img.draw_cross(blob.cx(), blob.cy())”意思是在色框中间画一个十字，blob.cx()与blob.cy()指的是色块的中心位置坐标。

我们也可以在循环中加一句“print(blob)”来获取所有blob参数，运行结果如下：

{"x":0, "y":198, "w":23, "h":42, "pixels":329, "cx":8, "cy":218, "rotation":1.690989, "code":1, "count":1, "perimeter":257, "roundness":0.199382}

五、多颜色识别 

在循环中，我们可以将第36行代码改写成“[thresholds],” ，也就是删掉后面的“[threshold_index],”，此时再次运行可以看到红、蓝、绿三种颜色都被框选显示了出来。