机器人视觉项目：视觉检测识别+机器人跟随（1）

最新推荐文章于 2024-08-15 13:56:06 发布
最新推荐文章于 2024-08-15 13:56:06 发布
阅读量1w 收藏 91
点赞数 5
分类专栏： 2018暑期 机器人 文章标签： 机器人 视觉识别 dl ros
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Synioe/article/details/82793053
版权
本文记录了一个暑假期间进行的机器人视觉检测跟随项目的进展，主要涉及TX2上的人体检测和跟踪算法。项目利用Kinect、ROS、深度学习（如Darknet的Yolov3-tiny）、OpenCV的SVM和各种滤波算法。内容包括在TX2上刷机、安装CUDA、Multimedia API、OpenCV、MXNet、TensorFlow和TensorRT，并分享了安装过程中的注意事项和测试步骤。
摘要由CSDN通过智能技术生成

更新一波暑假做的机器人视觉检测跟随的项目，有一些笔记都放在博客中，有需要的可以交流~

项目的目的是在机器人上搭建视觉检测系统，Kinect+ros+深度学习目标检测+行人识别（opencv的SVM行人检测以及Darknet神经网络Yolov3-tiny）+目标跟踪算法（主要是滤波算法）

下面开始更新啦...

目标：在TX2上运行人体检测和跟踪算法

1. 刷机（安装jetpack）

2. 测试

测试cuda

/home/ubuntu/NVIDIA_CUDA-<version>_Samples/bin/armv7l/linux/release/oceanFFT

测试Multimedia API

nvidia@tegra-ubuntu:~/tegra_multimedia_api/samples/backend$ ./backen

最低0.47元/天 解锁文章
Synioe
关注
专栏目录
机器人视觉项目：视觉检测识别+机器人跟随（17）
Synioe的博客
09-25 2618
参考一个实例行人检测 在ubuntu+ros环境下，利用RGBD采集数据给小车，实现行人跟随。 原作者开源的例子是出现一个窗口，用鼠标选择一个区域做kcf跟随，选择的物体不受限制，物体移动后，机器人随即跟随。 博主实现的是用opencv行人检测的demo，替换原作者的例子。该demo在opencv-2.4.13/samples/cpp/peopledetect.cpp下。 先认识一下原作者的例...
机器人视觉项目：视觉检测识别+机器人跟随（23）--特征匹配
Synioe的博客
10-09 1143
图像特征提取+基于opencv的特征匹配 OpenCV的feature2d module中提供了从局部图像特征（Local image feature）的检测、特征向量（feature vector）的提取，到特征匹配的实现。其中的局部图像特征包括了常用的几种局部图像特征检测与描述算子，如FAST、SURF、SIFT、以及ORB。对于高维特征向量之间的匹配，OpenCV主要有两种方式：1）Br...
自动跟随机器人应用算法思考
最新发布
liuxinzhi1982的专栏
08-15 428
在一个拥有多个房间的楼层，让一个拥有底座的机器人能够跟随一个人走动。
机器人视觉项目：视觉检测识别+机器人跟随（16）
Synioe的博客
09-25 808
跟踪丢失后再检测时加上目标特征匹配，是将第一帧检测到的目标框中的特征提取出来，具体可以采用尺度不变特征SIFT，SURF特征提取， 提取出来的特征，能否以向量的形式保存在变量中，再检测时搜索图像帧中的待确定目标区域（可能有数个这样的roi）， 可以通过计算欧式距离的方式与第一帧图像中的特征进行匹配，快速排除欧氏距离相差较大的检测对象（非跟踪的行人对象）， 当匹配度达到一定值后，即检测到第一帧跟踪的...
机器人视觉跟踪与控制研究(一)
u012374012的专栏
04-21 3512
研究背景: 机器人视觉，通过图像获得外界信息，用于机器人对环境的感知。 提高机器人智能性、环境适应性、自主行为的重要途径。 近年来机器人领域的研究热点之一。 研究内容: 视觉系统标定 目标分割与图像处理 视觉测量与视觉控制 视觉系统标定 1基于环境信息的自标定 •利用环境中的正交平行线获得消失点，标定摄像机的内
机器人视觉项目：视觉检测识别+机器人跟随（18）
Synioe的博客
09-25 885
//kinect骨骼检测跟踪 #include &lt;iostream&gt; #include &lt;opencv2\imgproc.hpp&gt;    //opencv头文件 #include &lt;opencv2\calib3d.hpp&gt; #include &lt;opencv2\highgui.hpp&gt; #include &lt;Kinect.h&gt;   ...
机器人视觉项目：视觉检测识别+机器人跟随（14）
Synioe的博客
09-25 981
增添Lowe匹配筛选算法的surf特征匹配 特征点匹配的效果来看，匹配的效果还是相当糟糕的，如果我们拿着这样子的匹配结果去实现图像拼接或者物体追踪，效果肯定是极差的。所以我们需要进一步筛选匹配点，来获取优秀的匹配点，这就是所谓的“去粗取精”。这里我们采用了Lowe’s算法来进一步获取优秀匹配点。 为了排除因为图像遮挡和背景混乱而产生的无匹配关系的关键点，SIFT的作者Lowe提出了比较最近邻距...
机器人视觉项目：视觉检测识别+机器人跟随（20）
Synioe的博客
09-25 4106
1.尝试用tx2外接kinectv1深度相机获取RGBD图像信息，传入到我们的行人检测代码框架中，调试基于深度相机的行人检测与跟踪算法的效果。 首先安装kinect对应Arm处理器的ubuntu驱动程序， libfreenect v2.0 OpenNI V2.2.0.33 Nite V2.0.0 安装libfreenect sudo apt-get install git g++ cmake li...
机器人视觉项目：视觉检测识别+机器人跟随（22）
Synioe的博客
10-09 2000
机器人调试 ros turtle_floower人体跟随 #include &lt;ros/ros.h&gt; #include &lt;pluginlib/class_list_macros.h&gt; #include &lt;nodelet/nodelet.h&gt; #include &lt;geometry_msgs/Twist.h&gt; #include &lt;sensor_...
机器人视觉项目：视觉检测识别+机器人跟随（2）
Synioe的博客
09-20 1712
目标：在TX2上运行人体检测和跟踪算法   主体方案：人体检测[yolov3] + 跟踪[KCF] 现状 yolov3在tx2的帧率是2fps，yolov3-tiny能达到15~20fps。 KCF很快，但是很容易跟丢。 目前用的是RGB图像，如果用RGBD，是不是会更好？ 几个可能改进的方向 用TensorRT跑yolov3，提升yolov3在tx2上的...
机器人视觉项目：视觉检测识别+机器人跟随（3）
Synioe的博客
09-20 2164
目标：检测并跟随目标（人） on TX2 基本方案 嵌入式设备，计算资源有限，对算法的运行时间敏感。 detection: YOLOv3(-tiny) tracking: KCF 当前状态 YOLOv3在TX2上能跑到5fps，但存在偶尔漏检的情况。YOLOv3使用darknet。 KCF虽然非常快，但很容易跟丢，对于目标形变（人的姿态变化）、目标移动较快、...
机器人视觉项目：视觉检测识别+机器人跟随（15）
Synioe的博客
09-25 535
### kinect + winSDK代码 ``` #include &lt;windows.h&gt; #include &lt;iostream&gt;  #include &lt;NuiApi.h&gt; #include &lt;opencv2/opencv.hpp&gt; using namespace std; using namespace cv; //通过传...
机器人视觉项目：视觉检测识别+机器人跟随（12）
Synioe的博客
09-25 754
任务完成情况 opencv的数据格式转换，这次碰上了，主要就是cvMat,IplImage,cv::Mat,InputArray之间的格式转换，现在想要将提取的图像特征时，用一张灰度图传给surf特征检测器，计算出特征点，在这之前需要将图像的数据格式进行转换: cv::xfeatures2d::SURF::detectAndCOmpute(InputArray image, InputArr...
机器人轨迹跟随算法
weixin_42178232的博客
04-23 1347
来源：Matlab官方 机械臂算法包括如下：路径规划（RRT及变体等）、轨迹规划（T型、多项式等）、轨迹跟随（角度空间、任务空间和计算力矩）、电机控制 常用三种轨迹跟随算法：
机器人纯跟踪算法 Base Pure Pursuit
Jameloveworld的博客
05-20 1583
纯跟踪算法是一种路径跟踪算法，他通过改变角速度指令将机器人当前位置移动到前面的某个路径点，并不断的跟随路径前进。适用于很多机器人运动学模型，包括阿克曼和全向轮。本文简单分析求解运动学之后的纯跟踪算法。如果把机器人当做驴，上图形象的解释了纯跟踪算法的原理，纯跟踪算法需要一直更新“胡萝卜”的位置，让机器人朝着路径的方向前进。
视觉跟踪综述
weixin_30699465的博客
07-03 465
　　　　　　　　　　　　　　　　视觉跟踪综述 目标跟踪是绝大多数视觉系统中不可或缺的环节。在二维视频跟踪算法中，基于目标颜色信息或基于目标运动信息等方法是常用的跟踪方法。从以往的研究中我们发现，大多数普通摄像头（彩色摄像头）下非基于背景建模的跟踪算法都极易受光照条件的影响。这是因为颜色变化在某种程度上是光学的色彩变化造成的。如基于体素和图像像素守恒假设的光流算法它也是假设一个物体的颜色在前后两帧...
目标跟踪简介
weixin_30536513的博客
03-06 3726
视觉目标跟踪是计算机视觉中的一个重要研究方向，有着广泛的应用，如：视频监控，人机交互，无人驾驶等。过去二三十年视觉目标跟踪技术取得了长足的进步，特别是最近两年利用深度学习的目标跟踪方法取得了令人满意的效果，使目标跟踪技术获得了突破性的进展。本文旨在简要介绍：目标跟踪的基本流程与框架，目标跟踪存在的挑战，目标跟踪相关方法，以及目标跟踪最新的进展等，希望通过这篇...
机器人视觉项目：视觉检测识别+机器人跟随（4）
Synioe的博客
09-20 2431
1. 将手动画框给小强机器人行人跟踪的代码用opencv行人检测的demo替换，实现自动检测。在网上下载了一个XML训练模型，并修改了代码， 在catkin_make这个工作空间时出现问题，一直报错： xiaoqiang@xiaoqiang-desktop:~/catkin_tra $ catkin_make Base path: /home/xiaoqiang/catkin_tra Source...
机器人视觉项目：视觉检测识别+机器人跟随（13）
Synioe的博客
09-25 679
收获巨大啊 总结一下编译成功的路线，不容易啊，要哭了。 今天上午也是没有很大的成效，一直到下午睡醒（论好的睡眠的重要性），在一篇帖子中看到一种新的写法，opencv3将IplImage转换为Mat格式的写法，在我们的代码中采用这种方式，改到哪里哪里的问题就消失了，这种感觉非常爽！ 写完整一点，记录准确以后参考。 我在机器人视觉检测中将kinect采集到的视频数据流进行特征提取和匹配，用的是...
机器人在ros下的KCF跟踪算法实现
10-09
ros下实现跟踪算法--相关滤波跟踪算法KCF，通过kinect获得视频流，跟踪视频中的目标对象
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值