开始之前声明: 本文在NVIDIA Jetson Xavier NX上跑YOLOv4模型,配合ZED相机实时检测,将检测到的目标坐标发送到下位机。
环境: ubuntu18.04,Jetpack4.4.0
NVIDIA Jetson Xavier NX串口
Xavier NX支持基本常用的通讯方式,博主利用40pin的引脚GPIO(UART),引脚分布如下图所示,引脚提供了3.3v和5v供电。
UART_TX对应的是8,UART_RX对应的是10,.博主外接了一个ttl转usb小板(CH340),usb端连接到下位机(先用PC测试,发送到单片机一样),某宝几块钱一个。注意连接方式RX-TX,TX-RX
运行ls /dev/tty*,注意有4个分别是TCU0、THS0、THS1、THS4。TCU0和THS0都是UART,连接方式不一样,如果使用40pin就是THS0.
cutecom助手测试
cutecom和串口助手一样,可以方便我们对串口进行测试,在NX和PC中同时安装
安装:sudo apt-get install cutecom
运行:sudo cuetcom
界面如下:
如果已经连好线,在pc端会出现ttyUSB0
,我们同样可以用ls /dev/tty*来查看,如果没有,检查连线是否正确。同样可以在cutecom助手device中查看我们的设备。
点击右上角setting可以设置波特率、校验位、停止位等,与NX中的设置一致即可。
点击open,打开串口,在input框内尝试发送数据,可以看到PC端可以成功接收数据,通讯成功!
也可以在终端直接echo发送,但记得要更改串口权限,sudo chmod 777 /dev/ttyTHS0
发送YOLO检测结果
串口程序可以参考这位博主的串口程序介绍
博主配合ZED相机使用,需对YOLO文件夹下的src目录下的yolo_console_dll.cpp进行修改。
找到draw_boxes
函数,该函数内部实现坐标的获取,i.x_3d对应X坐标、i.y_3d对应Y坐标、i.z_3d对应Z坐标,即发送这3个坐标到缓存中,将缓存中的内容写入串口设备,下位机读区缓存中的内容即可。
在主函数中,打开串口并初始化
int FD;
FD = open_port(1);//根据自己的串口设置
set_opt(FD,115200,8,3,1);
在draw_boxes中发送坐标,注意在for循环体内添加代码
void draw_boxes(cv::Mat mat_img, std::vector<bbox_t> result_vec, std::vector<std::string> obj_names,
int current_det_fps = -1, int current_cap_fps = -1,int FD = -1)//添加文件描述符参数,默认为-1,在主函数中同样记得添加。
{
char buf[512]; //设置buff大小
int len;
int const colors[6][3] = {
{
1,