openmv学习笔记（24电赛笔记）

最新推荐文章于 2024-08-08 23:04:40 发布

嗯? 嗯。

最新推荐文章于 2024-08-08 23:04:40 发布

阅读量803

点赞数 22

分类专栏：电赛学习笔记文章标签：学习笔记

本文链接：https://blog.csdn.net/weixin_62292999/article/details/140733900

版权

电赛学习笔记专栏收录该内容

9 篇文章 1 订阅

订阅专栏

特征点检测

特征点检测不同于模版匹配方法，这种方法在检测需要识别目标特征点的时候，就同时已经计算出不同角度，大小的目标点，当摄像头出现移动的时候，或者旋转角度也能进行检测。

特征点可以在程序运行的时候，记录，或者从图片中提取特征点，推荐前者，后者使用时匹配实物可能会受到光线影响与图片中特征点有差异等等因素。

特征点检测使用算法 FAST/AGAST算法提取特征，进行目标追踪，同时仅支持灰度图，这些事使用特征点检测需要注意的事项。

特征点检测这种算法，通过函数提取出图片中的特征点，识别图片时，依靠特征点相互对比，当图片与记录特征点，大于或等于设定比例时，图片就能完成识别。

函数定义

 kpts1 = image.find_keypoints(roi=Auto, threshold=20, normalized=False, scale_factor=1.5, max_keypoints=100, corner_detector=CORNER_AGAST)

函数用来检测图片中的特征点，并且同时记录特征点，用于后续检测图片。

roi参数

roi 感兴趣区域，取值格式（x ， y，w，h），设置格式之后，只对各式之内的函数进行检测，如果没有填写将使用默然参数，默然参数与 framesize()大小相同。

threshold参数

取值 0~255，用来控制特征点检测的角数量，默认使用AGAST特征点检测，这个阈值大概是20，用FAST特征点检测，阈值大概是60~80，阈值越低得到角度越多。

这个参数是要填的，threshold = 20 ，这里提到的角点是图像中特征明显的点，具有较高的信息含量。

normalized参数

参数为布尔类型，取值 True 或 False ，默认取值为False，可以匹配检测模版的多种角度和大小，当normalied = True 时，关闭特诊点检测，仅匹配一种大小，类似于模版匹配，更改大小将不能进行识别。

scale_factor参数

参数取值1.35~1.5之间，这个数字越高，检测速度越快，但是匹配准确会下降。

max_keypoint参数

用来确定图片提取特征点数量，程序依靠保存的特征点检测图片，特征点越多，越精准，但是当特征点过多的时候RAM内存将会爆掉，max_keypoint = 100 为默认值。

conner_detector参数

前面提到过，特征点检测使用算法，有AGAST算法和FAST算法，这两种算法效果不同，AGAST算法这种算法在检测准确性和速度之间取得了好的平衡， FAST算法这种算法比AGAST算法更快，但是准确性可能会更差。

 kpts1 = image.find_keypoints(max_keypoint = 150,threshold = 10,scale_factor = 1.2)

上面这个函数的调用用来提取检测图片的特征点，同时需要将这些特征点记录下来。

函数定义

match = image.match_descriptor(descritor0, descriptor1, threshold=70, filter_outliers=False)

这个函数是用来对比，图像中特征点与记录特征点，二者进行对比，按照符合标准是否符合要求，判定是否是同一张图片。

descritor0参数

参数是程序上电刚开始运行的参数点，用来与视频中的图像相互对比。

descritor1参数

参数保存的特征点是视频中，图像的特征点，这些特征点用来与descritor0中的特征点相互对比。

threshold参数

threshold参数设置匹配的精准度，取值在0~100，默认取值在70，值越小特征点匹配越精准。

filter_outliers参数

这个参数默认不用填写，作用是用来其用离群点过滤，True开启，开启之后会拉低传输速度，默认关闭。

match参数

这个变量返回值，是函数给的，是descritor0和descritor1的匹配成功的特征点数量，match.count()>10则认为匹配成功。

特征点匹配代码

# 利用特征点检测特定物体例程。
# 向相机显示一个对象，然后运行该脚本。 一组关键点将被提取一次，然后
# 在以下帧中进行跟踪。 如果您想要一组新的关键点，请重新运行该脚本。
# 注意：请参阅文档以调整find_keypoints和match_keypoints。
import sensor, time, image

# Reset sensor
sensor.reset()

# Sensor settings
sensor.set_framesize(sensor.VGA)
sensor.set_windowing((320, 240))
sensor.set_pixformat(sensor.GRAYSCALE)

sensor.skip_frames(time = 2000)
sensor.set_auto_gain(False)

#画出特征点
def draw_keypoints(img, kpts):
    if kpts:
        print(kpts)
        img.draw_keypoints(kpts)
        img = sensor.snapshot()
        time.sleep_ms(1000)

kpts1 = None
#kpts1保存目标物体的特征，可以从文件导入特征，但是不建议这么做。
#kpts1 = image.load_descriptor("/desc.orb")
#img = sensor.snapshot()
#draw_keypoints(img, kpts1)

clock = time.clock()

while (True):
    clock.tick()
    img = sensor.snapshot()
    if (kpts1 == None):
        #如果是刚开始运行程序，提取最开始的图像作为目标物体特征，kpts1保存目标物体的特征
        #默认会匹配目标特征的多种比例大小，而不仅仅是保存目标特征时的大小，比模版匹配灵活。
        # NOTE: By default find_keypoints returns multi-scale keypoints extracted from an image pyramid.
        kpts1 = img.find_keypoints(max_keypoints=150, threshold=10, scale_factor=1.2)
        #image.find_keypoints(roi=Auto, threshold=20, normalized=False, scale_factor=1.5, max_keypoints=100, corner_detector=CORNER_AGAST)
        #roi表示识别的区域，是一个元组（x,y,w,h）,默认与framsesize大小一致。
        #threshold是0~255的一个阈值，用来控制特征点检测的角点数量。用默认的AGAST特征点检测，这个阈值大概是20。用FAST特征点检测，这个阈值大概是60～80。阈值越低，获得的角点越多。
        #normalized是一个布尔数值，默认是False，可以匹配目标特征的多种大小（比ncc模版匹配效果灵活）。如果设置为True，关闭特征点检测的多比例结果，仅匹配目标特征的一种大小（类似于模版匹配），但是运算速度会更快一些。
        #scale_factor是一个大于1.0的浮点数。这个数值越高，检测速度越快，但是匹配准确率会下降。一般在1.35~1.5左右最佳。
        #max_keypoints是一个物体可提取的特征点的最大数量。如果一个物体的特征点太多导致RAM内存爆掉，减小这个数值。
        #corner_detector是特征点检测采取的算法，默认是AGAST算法。FAST算法会更快但是准确率会下降。
        draw_keypoints(img, kpts1)
        #画出此时的目标特征
    else:
        #当与最开始的目标特征进行匹配时，默认设置normalized=True，只匹配目标特征的一种大小。
        # NOTE: When extracting keypoints to match the first descriptor, we use normalized=True to extract
        # keypoints from the first scale only, which will match one of the scales in the first descriptor.
        kpts2 = img.find_keypoints(max_keypoints=150, threshold=10, normalized=True)
        #如果检测到特征物体
        if (kpts2):
            #匹配当前找到的特征和最初的目标特征的相似度
            match = image.match_descriptor(kpts1, kpts2, threshold=85)
            #image.match_descriptor(descritor0, descriptor1, threshold=70, filter_outliers=False)。本函数返回kptmatch对象。
            #threshold阈值设置匹配的准确度，用来过滤掉有歧义的匹配。这个值越小，准确度越高。阈值范围0～100，默认70
            #filter_outliers默认关闭。

            #match.count()是kpt1和kpt2的匹配的近似特征点数目。
            #如果大于10，证明两个特征相似，匹配成功。
            if (match.count()>10):
                # If we have at least n "good matches"
                # Draw bounding rectangle and cross.
                #在匹配到的目标特征中心画十字和矩形框。
                img.draw_rectangle(match.rect())
                img.draw_cross(match.cx(), match.cy(), size=10)

            #match.theta()是匹配到的特征物体相对目标物体的旋转角度。
            print(kpts2, "matched:%d dt:%d"%(match.count(), match.theta()))
            #不建议draw_keypoints画出特征角点。
            # NOTE: uncomment if you want to draw the keypoints
            #img.draw_keypoints(kpts2, size=KEYPOINTS_SIZE, matched=True)

    # Draw FPS
    #打印帧率。
    img.draw_string(0, 0, "FPS:%.2f"%(clock.fps()))

欢迎指正，希望对你，有所帮助！！！