简易人体跟随小车(旭日x3派,yolov5)

人体跟随小车(yolov5、目标检测)

最终现象

跟随人体前进,当距离过近时会停车(没有使用深度相机,无法直接获取距离信息,简单根据检测框与图像的比值来确定是否停车),检测不到人时也会停车。根据目标(在这里是目标框中心的 x 坐标)与设定值(320)之间的偏差计算(PID)得到相应占空比驱动差速车轮。


这里只是在板子上部署了yolov5实现简单的人体跟随,后续将这部分代码集成进ros,并实现一种单目标可重识别的人体跟随,小车的驱动策略和供电策略也都变了。具体效果可以看我发布的视频: https://live.csdn.net/v/412850

前言

上板运行的后处理使用cython封装了,由于每个版本的yolo输出的形状不一样,这里只能用yolov5-6.2这个版本。
①训练自己的模型并部署于旭日x3派参考:
https://blog.csdn.net/m0_71523511/article/details/136546588/部署官方权重文件
https://blog.csdn.net/m0_71523511/article/details/136823320/部署自己训练的安全帽识别权重文件
②通过40pin引脚驱动减速电机参考:
https://blog.csdn.net/m0_71523511/article/details/136722608/视觉循迹小车

接线

这里使用物理引脚编号:
在这里插入图片描述
旭日x3派连接TB6612驱动电机:
11、13引脚接AIN1、AIN2;15、16引脚接BIN1、BIN2;32引脚接PWMA;33引脚接PWMB引脚。TB6612的VCC接3.3v,VM和STBY接5V,有条件的VM可以接7-12V;AO1、AO2接左电机的正负极;BO1、BO2接右电机的正负极。

供电连线:
旭日x3派1.0板卡只能使用tpye-c口进行供电,2.0还可以使用40pin引脚中的5v引脚供电,推荐使用5v3a电源,否则板卡可能无法启动。
电源模块使用实验室的锂电池模组:额定输出电压为24V,3000mah,3c:
在这里插入图片描述

稳压模块使用LM2596S,将输出电压调至5V,买带有数表显示的就不用万用表测了:
在这里插入图片描述
开关使用拨动开关:
在这里插入图片描述

将type-c的usb端剪了就可以看到里面有几根线,红黑就是供电线,这要与电源连接,上面几个部分的连线如下:
在这里插入图片描述
最好买粗的硅胶线来进行电源部分的连线,杜邦线没法传那么大的电流:
在这里插入图片描述

实现

通过前言中的部署相关博客得到bin文件之后,需要将如下文件放入板端(在前言的参考博客中有下载链接)
在这里插入图片描述
以下跟随代码仅供参考:

import numpy as np
import cv2
import os
from hobot_dnn import pyeasy_dnn as dnn
from bputools.format_convert import imequalresize, bgr2nv12_opencv
import Hobot.GPIO as GPIO

import lib.pyyolotools as yolotools

class CTRL():
    def __init__(self, in1, in2, in3, in4, pa, pb):
        GPIO.setmode(GPIO.BOARD)
        GPIO.setwarnings(False)

        GPIO.setup(in1, GPIO.OUT)
        GPIO.setup(in2, GPIO.OUT)
        GPIO.setup(in3, GPIO.OUT)
        GPIO.setup(in4, GPIO.OUT)

        self.in1 = in1
        self.in2 = in2
        self.in3 = in3
        self.in4 = in4

        self.PWMA = GPIO.PWM(pa, 48000)
        self.PWMB = GPIO.PWM(pb, 48000)

    def drive(self, FL, FR):
        if FL >= 0:
            GPIO.output(self.in3, GPIO.HIGH)
            GPIO.output(self.in4, GPIO.LOW)
        elif FL < 0:
            GPIO.output(self.in4, GPIO.HIGH)
            GPIO.output(self.in3, GPIO.LOW)

        if FR >= 0:
            GPIO.output(self.in1, GPIO.HIGH)
            GPIO.output(self.in2, GPIO.LOW)
        elif FR < 0:
            GPIO.output(self.in2, GPIO.HIGH)
            GPIO.output(self.in1, GPIO.LOW)

        self.PWMA.ChangeDutyCycle(abs(FR))
        self.PWMB.ChangeDutyCycle(abs(FL))
        self.PWMA.start(abs(FR))
        self.PWMB.start(abs(FL))

    def stop(self):
        GPIO.output(self.in1, GPIO.LOW)
        GPIO.output(self.in2, GPIO.LOW)
        GPIO.output(self.in3, GPIO.LOW)
        GPIO.output(self.in4, GPIO.LOW)

        self.PWMA.ChangeDutyCycle(0)
        self.PWMB.ChangeDutyCycle(0)
        self.PWMA.start(0)
        self.PWMB.start(0)

    def clean(self):
        self.PWMB.stop()
        self.PWMA.stop()
        GPIO.cleanup()

class PIDController():
    def __init__(self,KP,KI,KD,setpoint):
        self.KP = KP
        self.KI = KI
        self.KD = KD
        self.setpoint = setpoint
        self.prev_error = 0
        self.integral = 0
                
    def update(self,current_value):
        error = self.setpoint - current_value
        self.integral += error
        derivative = error - self.prev_error
        output = self.KP * error + self.KI *self.integral + self.KD * derivative
        self.prev_error = error
        return output



def get_hw(pro):
    if pro.layout == "NCHW":
        return pro.shape[2], pro.shape[3]
    else:
        return pro.shape[1], pro.shape[2]

def format_yolov5(frame):
    row, col, _ = frame.shape
    _max = max(col, row)
    result = np.zeros((_max, _max, 3), np.uint8)
    result[0:row, 0:col] = frame
    return result

# 加载模型和设置参数
model_path = 'hat_yolov5_6.2_2.bin'
classes_name_path = 'coco_classes.names'
models = dnn.load(model_path)
model_h, model_w = get_hw(models[0].inputs[0].properties)
print("Model Height:", model_h, "Model Width:", model_w)

thre_confidence = 0.4
thre_score = 0.25
thre_nms = 0.45
colors = [(255, 255, 0), (0, 255, 0), (0, 255, 255), (255, 0, 0)]

# 打开摄像头
cap = cv2.VideoCapture(8)  # 使用第一个摄像头(如果有多个摄像头,可能需要更改参数)
Ctrl = CTRL(11, 13, 16, 15, 32, 33)  # 设置管脚
pidController = PIDController(KP=0.12,KI=0.001,KD=0.12,setpoint=320)
Ctrl.drive(25, 25)  # 小车的始发运动

# 主循环:读取帧,进行目标检测,显示结果
while True:
    ret, frame = cap.read()  # 读取一帧图像
    if not ret:
        print("Error: Couldn't capture frame")
        break

    inputImage = format_yolov5(frame)
    img = imequalresize(inputImage, (model_w, model_h))
    nv12 = bgr2nv12_opencv(img)

    t1 = cv2.getTickCount()
    outputs = models[0].forward(nv12)
    t2 = cv2.getTickCount()
    outputs = outputs[0].buffer
    #print('Inference time: {0} ms'.format((t2 - t1) * 1000 / cv2.getTickFrequency()))

    image_width, image_height, _ = inputImage.shape
    fx, fy = image_width / model_w, image_height / model_h
    t1 = cv2.getTickCount()
    class_ids, confidences, boxes = yolotools.pypostprocess_yolov5(outputs[0][:, :, 0], fx, fy,
                                                                   thre_confidence, thre_score, thre_nms)
    t2 = cv2.getTickCount()
    #print('Post-processing time: {0} ms'.format((t2 - t1) * 1000 / cv2.getTickFrequency()))
    
    with open(classes_name_path, "r") as f:
        class_list = [cname.strip() for cname in f.readlines()]

    for (classid, confidence, box) in zip(class_ids, confidences, boxes):
        color = colors[int(classid) % len(colors)]
        cv2.rectangle(frame, box, color, 2)
        cv2.rectangle(frame, (box[0], box[1] - 20), (box[0] + box[2], box[1]), color, -1)
        #cv2.putText(frame, str(classid), (box[0], box[1] - 10), cv2.FONT_HERSHEY_SIMPLEX, .5, (0, 0, 0))
        cv2.putText(frame, class_list[classid], (box[0], box[1] - 10), cv2.FONT_HERSHEY_SIMPLEX, .5, (0,0,0))
    cv2.imshow('frame', frame)  # 显示帧
    #########################################################################################################################
    #car_logical
    num_detection = len(boxes)
    if num_detection == 0:
        print("no_object_stop")
        Ctrl.stop()
    else:
        if classid == 0:
            x1,y1 = box[0],box[1]
            x2,y2 = box[0] + box[2],box[1] + box[3]
            kuang_area = (x2-x1) * (y2-y1)
            input_area = 409600
            bizhi = kuang_area / input_area
            if bizhi > 0.1:
                print("too_close_stop")
                Ctrl.stop()
            else:
                x3 = (x2+x1)/2
                print("weizhi",x3)
                #direct_control
                #if x3 < 300:
                    #print("left")
                    #Ctrl.drive(20,-20)
                #elif x3 > 280 and x3 < 320:
                    #print("zhixian")
                    #Ctrl.drive(25,25)
                #else:
                    #print("right")
                    #Ctrl.drive(-20,20)
                #pid_control
                pid_output = pidController.update(x3)
                if pid_output > 11:
                    pid_output = 11
                if pid_output < -11:
                    pid_output = -11
                Ctrl.drive(25+pid_output, 25-pid_output)
        else:
            Ctrl.stop()
            print("hat_stop")
    #########################################################################################################################
    if cv2.waitKey(1) & 0xFF == ord('q'):  # 按下 'q' 键退出循环
        Ctrl.stop()
        break

# 释放资源并关闭窗口
cap.release()
cv2.destroyAllWindows()

注意

如果模型输出是 1×25200×7 ,代码直接复制就能用。
查看模型结构图网址:https://netron.app/ ,直接打开onnx文件拉到最后就可以看到模型输出:
在这里插入图片描述

  • 5
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Unity人体轮廓识别是通过使用开源人体识别资源包,结合Unity版本2020和开源算法进行实现的。可以使用单张Texture2D或者接入摄像头进行实时的人体识别。其中,CameraBox是Player的子物体,具体的设置方法可以参考网址:http://www.narkii.com/club/thread-412883-1.html。 在这个实现过程中,使用了名为BoxControl.cs的脚本来实现相机的跟随和碰撞缩进的功能。这个脚本被附着在CameraBox物体上。在脚本中,首先通过找到标签为"MainCamera"的物体来获取主摄像机的引用,并记录下target和CameraBox之间的初始距离。然后,在每一帧的LateUpdate函数中,使用插值的方式将主摄像机位置渐变到CameraBox的位置,并且使其始终看向角色的正前方。 为了实现碰撞缩进的效果,脚本中还使用了射线检测碰撞的功能。脚本会获取target向相机盒子方向的单位向量,并发射射线来检测与相机盒子之间的碰撞。如果射线与碰撞物体发生碰撞,则脚本会记录下碰撞点到target之间的距离,否则使用初始距离。最后,根据距离和方向的关系,调整CameraBox的位置,实现碰撞缩进的效果。 综上所述,Unity人体轮廓识别可以通过使用开源资源包和脚本的方式来实现,其中脚本中的BoxControl.cs可以控制相机跟随和碰撞缩进的功能。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [Unity 基于开源人体识别资源包](https://download.csdn.net/download/weixin_41978284/85141020)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [【Unity-学习-010】Unity + ReadSense D435 + Nuitrack 人体识别](https://blog.csdn.net/weixin_42680589/article/details/108012019)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值