jetson tx2控制舵机目标跟踪（颜色、人脸、眼睛）

1、舵机连接与控制

 看文章：JETson 舵机控制及目标跟踪-CSDN博客

2、目标检测（基于颜色的目标检测）

看文章：opencv颜色处理与追踪-CSDN博客

3、目标跟踪思路

将检测生成的检测框中心，检测画面中心

3.1首先要获得显示页面的宽和高

#获得显示页面宽度和高度，用于后面将物体移动到中心点
width = cam.get(cv.CAP_PROP_FRAME_WIDTH)
height = cam.get(cv.CAP_PROP_FRAME_HEIGHT)
print('width:',width,'height',height)

3.2绘制矩形框，找到矩形框中心点

area = cv.contourArea(cnt)  # 计算轮廓面积
        (x,y,w,h)= cv.boundingRect(cnt)
        if area >= 50:
            #cv.drawContours(frame, [cnt], -1, (255, 0, 0),3)  # 画出图像轮廓
            cv.rectangle(frame,(x,y),(x+w,y+h),(255, 0, 0),3) #用矩形框（box）画出轮廓
            #获得box中心点
            objx = x+w/2
            objy = y+h/2

3.3将矩形框中心移到画面中心

这是最直接，最简单、最容易理解的舵机控制方法，但是会出现舵机卡顿、物体超出实现程序崩溃

#计算物体到中心点的距离
errorpan = objx - width/2
errortillt = objy - height/2

#将物体移动到中心点
if errorpan > 0:
      pan = pan - 1
if errorpan < 0:
      pan = pan + 1
if errortillt > 0:
      tilt = tilt - 1
if errortillt < 0:
      tilt = tilt + 1

# 控制舵机移动
kit.servo[0].angle = pan
kit.servo[1].angle = tilt

 3.4  舵机控制优化

            # 计算物体到中心点的距离
            errorpan = objx - width / 2
            errortillt = objy - height / 2

            # 将物体移动到中心点
            if abs(errorpan) > 15:  # 如果偏差15个像素点，就不调整误差了，免得相机反复横跳
                pan = pan - errorpan / 43  # 减小误差
            if abs(errortillt) > 15:
                tilt = tilt + errortillt / 43
           
            if pan > 180:
                pan = 180
                print("超出视线范围")
            if pan < 0:
                pan = 0
                print("超出视线范围")
            if tilt > 180:
                tilt = 180
                print("超出视线范围")
            if tilt < 0:
                tilt = 0
                print("超出视线范围")

            # 控制舵机移动
            kit.servo[0].angle = pan
            kit.servo[1].angle = tilt

3.5 全部代码

#控制伺服电机
# -*- coding: utf-8 -*-
import cv2 as cv
import numpy as np
from adafruit_servokit import ServoKit

kit = ServoKit(channels=16)
pan = 90
tilt =45
kit.servo[0].angle =pan
kit.servo[1].angle =tilt




def nothing(x):
    pass

cv.namedWindow('trackbars')
cv.resizeWindow('trackbars', 400,500)
cv.createTrackbar('huelower','trackbars',96,179,nothing)
cv.createTrackbar('huehigher','trackbars',120,179,nothing)
#追踪两种颜色
cv.createTrackbar('hue2lower','trackbars',0,179,nothing)
cv.createTrackbar('hue2higher','trackbars',0,179,nothing)

cv.createTrackbar('satlow','trackbars',105,255,nothing)
cv.createTrackbar('sathigh','trackbars',255,255,nothing)
cv.createTrackbar('vallow','trackbars',255,255,nothing)
cv.createTrackbar('valhigh','trackbars',255,255,nothing)

cam = cv.VideoCapture(1)
#获得显示页面宽度和高度，用于后面将物体移动到中心点
width = cam.get(cv.CAP_PROP_FRAME_WIDTH)
height = cam.get(cv.CAP_PROP_FRAME_HEIGHT)
print('width:',width,'height',height)

cam.set(3,400)
#用numpy绘制一个空白画面
blank = np.zeros([480,640,1],np.uint8)

while True:
    # 读取视频流
    ret, frame = cam.read()
    #print(frame.shape)#查看图像大小
    #绘制HSV调节框
    hsv = cv.cvtColor(frame,cv.COLOR_BGR2HSV)
    hl = cv.getTrackbarPos('huelower','trackbars')
    hu = cv.getTrackbarPos('huehigher','trackbars')
    hl2 = cv.getTrackbarPos('hue2lower', 'trackbars')
    hu2 = cv.getTrackbarPos('hue2higher', 'trackbars')
    sl = cv.getTrackbarPos('satlow','trackbars')
    sh = cv.getTrackbarPos('sathigh','trackbars')
    vl = cv.getTrackbarPos('vallow','trackbars')
    vh = cv.getTrackbarPos('valhigh','trackbars')
    # 选取颜色范围
    lower = np.array([hl, sl,vl])  # 转换为一维数组
    upper = np.array([hu, sh, vh])
    lower2 = np.array([hl2, sl,vl])  # 转换为一维数组
    upper2 = np.array([hu2, sh, vh])

    FGmask = cv.inRange(hsv,lower,upper)  # 设置HSV的阈值
    FGmask2 = cv.inRange(hsv,lower2,upper2)  #设置HSV的阈值
    FGmaskComp=cv.add(FGmask, FGmask2)
    cv.imshow('FGmaskComp', FGmaskComp)

    #找到颜色外轮廓
    _,contours,_ = cv.findContours(FGmaskComp, cv.RETR_EXTERNAL, cv.CHAIN_APPROX_SIMPLE)
    contours = sorted(contours, key=lambda x: cv.contourArea(x), reverse=True)
    for cnt in contours:
        area = cv.contourArea(cnt)  # 计算轮廓面积
        (x,y,w,h)= cv.boundingRect(cnt)
        if area >= 50:
            #cv.drawContours(frame, [cnt], -1, (255, 0, 0),3)  # 画出图像轮廓
            cv.rectangle(frame,(x,y),(x+w,y+h),(255, 0, 0),3) #用矩形框（box）画出轮廓
            #获得box中心点
            objx = x+w/2
            objy = y+h/2

            #计算物体到中心点的距离
            errorpan = objx - width/2
            errortillt = objy - height/2

            #将物体移动到中心点
            if abs(errorpan) > 15:#如果偏差15个像素点，就不调整误差了，免得相机反复横跳
                pan = pan - errorpan/43#减小误差
            if abs(errortillt) > 15:
                tilt = tilt +errortillt/43

            if pan > 180:
                pan = 180
                print("超出视线范围")
            if pan < 0:
                pan = 0
                print("超出视线范围")
            if tilt > 180:
                tilt = 180
                print("超出视线范围")
            if tilt < 0:
                tilt = 0
                print("超出视线范围")


            # 控制舵机移动
            kit.servo[0].angle = pan
            kit.servo[1].angle = tilt
            print('pan',pan)
            print('tilt',tilt)

    # 显示视频流
    cv.imshow('nanocam', frame)
    # ESC键退出
    keyCode = cv.waitKey(30) & 0xFF
    if keyCode == 27:
        break

cam.release()
cv.destroyAllWindows()

3.6 颜色追踪效果

追踪效果有点拉，相机像素太差了，有点反光，颜色就对不上了，也可能是我颜色参数没调好，舵机云台也有点拉，一卡一卡的,但流程是这样的，更新下设备就好：【飘空中的人】我的最新作品，快来一睹为快！_哔哩哔哩_bilibili

4、人脸、眼睛检测跟踪

4.1  下载Haar级联检测器预训练模型

opencv/data at 4.x · opencv/opencv · GitHub

 里面还有眼睛，猫，微笑很多模型

 4.2 代码：

舵机控制思路是一样的，但要调整舵机速度等参数

# -*- coding: utf-8 -*-
import cv2 as cv

from adafruit_servokit import ServoKit

kit = ServoKit(channels=16)
pan = 90
tilt =45
kit.servo[0].angle =pan
kit.servo[1].angle =tilt



cam = cv.VideoCapture(1)
# webcap = cv.VideoCapture('rtsp://admin:qwertyuiop123@192.168.31.103/Streaming/Channels/2')
# 图像宽度
cam.set(3, 600)
# 图像高度
cam.set(4, 500)
#获得显示页面宽度和高度，用于后面将物体移动到中心点
width = cam.get(cv.CAP_PROP_FRAME_WIDTH)
height = cam.get(cv.CAP_PROP_FRAME_HEIGHT)

#读取模型
face_casecade = cv.CascadeClassifier('face.xml')
eye_casecade = cv.CascadeClassifier('eye.xml')

while True:
    # 读取视频流
    ret, frame = cam.read()
    # ret,frame2 = webcap.read()
    #print(frame.shape)
    # 灰度处理，减小资源调用，方便检测
    gray = cv.cvtColor(frame,cv.COLOR_BGR2GRAY)
    faces = face_casecade.detectMultiScale(gray,1.3,5)
    for (x,y,w,h) in faces:

        # 获得box中心点
        Xcent = x + w / 2
        Ycent = y + h / 2

        # 计算物体到中心点的距离
        errorpan = Xcent - width / 2
        errortillt = Ycent - height / 2

        # 将物体移动到中心点
        if abs(errorpan) > 15:  # 如果偏差15个像素点，就不调整误差了，免得相机反复横跳
            pan = pan - errorpan / 43  # 减小误差
        if abs(errortillt) > 15:
            tilt = tilt + errortillt / 43#我的舵机是反的，这里要根据自己舵机修改

        if pan > 180:
            pan = 180
            print("超出视线范围")
        if pan < 0:
            pan = 0
            print("超出视线范围")
        if tilt > 180:
            tilt = 180
            print("超出视线范围")
        if tilt < 0:
            tilt = 0
            print("超出视线范围")

        # 控制舵机移动
        kit.servo[0].angle = pan
        kit.servo[1].angle = tilt
        #绘制脸部矩形框
        cv.rectangle(frame, (x, y), (x + w, y + h), (0, 0, 255), 2)
        # 将脸部矩形灰度处理
        roi_gray = gray[y:y + h, x:x + w]
        roi_color = frame[y:y + h, x:x + w]
        eyes = eye_casecade.detectMultiScale(roi_gray)
        for (xEye, yEye, wEye, hEye) in eyes:
            # cv.rectangle(roi_color, (xEye, yEye), (xEye + wEye, yEye + hEye), (255, 0, 0), 2)
            # 画圈标记眼睛
            cv.circle(roi_color, (int(xEye + wEye / 2), int(yEye + hEye / 2)), 8, (255, 0, 0))
    
    # 显示视频流
    cv.imshow('cap1', frame)
    #cv.moveWindow('cap1',0,0)


    keyCode = cv.waitKey(30) & 0xFF
    if keyCode == 27:  # ESC键退出
        break

cam.release()
cv.destroyAllWindows()