机器人视觉项目：视觉检测识别+机器人跟随（1）

最新推荐文章于 2024-07-04 18:57:48 发布
最新推荐文章于 2024-07-04 18:57:48 发布
阅读量1w 收藏 91
点赞数 5
分类专栏： 2018暑期 机器人 文章标签： 机器人 视觉识别 dl ros
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Synioe/article/details/82793053
版权
本文记录了一个暑假期间进行的机器人视觉检测跟随项目的进展，主要涉及TX2上的人体检测和跟踪算法。项目利用Kinect、ROS、深度学习（如Darknet的Yolov3-tiny）、OpenCV的SVM和各种滤波算法。内容包括在TX2上刷机、安装CUDA、Multimedia API、OpenCV、MXNet、TensorFlow和TensorRT，并分享了安装过程中的注意事项和测试步骤。
摘要由CSDN通过智能技术生成

更新一波暑假做的机器人视觉检测跟随的项目，有一些笔记都放在博客中，有需要的可以交流~

项目的目的是在机器人上搭建视觉检测系统，Kinect+ros+深度学习目标检测+行人识别（opencv的SVM行人检测以及Darknet神经网络Yolov3-tiny）+目标跟踪算法（主要是滤波算法）

下面开始更新啦...

目标：在TX2上运行人体检测和跟踪算法

1. 刷机（安装jetpack）

2. 测试

测试cuda

/home/ubuntu/NVIDIA_CUDA-<version>_Samples/bin/armv7l/linux/release/oceanFFT

测试Multimedia API

nvidia@tegra-ubuntu:~/tegra_multimedia_api/samples/backend$ ./backen

最低0.47元/天 解锁文章
Synioe
关注
  • 5
    点赞
  • 踩
  • 91
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
机器人视觉项目：视觉检测识别+机器人跟随（14）
Synioe的博客
09-25 958
增添Lowe匹配筛选算法的surf特征匹配 特征点匹配的效果来看，匹配的效果还是相当糟糕的，如果我们拿着这样子的匹配结果去实现图像拼接或者物体追踪，效果肯定是极差的。所以我们需要进一步筛选匹配点，来获取优秀的匹配点，这就是所谓的“去粗取精”。这里我们采用了Lowe’s算法来进一步获取优秀匹配点。 为了排除因为图像遮挡和背景混乱而产生的无匹配关系的关键点，SIFT的作者Lowe提出了比较最近邻距...
机器人视觉项目：视觉检测识别+机器人跟随（23）--特征匹配
Synioe的博客
10-09 1117
图像特征提取+基于opencv的特征匹配 OpenCV的feature2d module中提供了从局部图像特征（Local image feature）的检测、特征向量（feature vector）的提取，到特征匹配的实现。其中的局部图像特征包括了常用的几种局部图像特征检测与描述算子，如FAST、SURF、SIFT、以及ORB。对于高维特征向量之间的匹配，OpenCV主要有两种方式：1）Br...
机器人视觉项目：视觉检测识别+机器人跟随（18）
Synioe的博客
09-25 852
//kinect骨骼检测跟踪 #include &lt;iostream&gt; #include &lt;opencv2\imgproc.hpp&gt;    //opencv头文件 #include &lt;opencv2\calib3d.hpp&gt; #include &lt;opencv2\highgui.hpp&gt; #include &lt;Kinect.h&gt;   ...
视觉识别简述
最新发布
why985211的博客
07-04 179
生活中我们或多或少都接触过机器的视觉识别技术，从扫描二维码到拍照识别文案，从智能购物到直观导航。我们可以把这个过程分为以下几个部分。从摄像机拍摄下或者是传入照片后，首先要对图像进行去噪、增强、缩放等操作，以便更好地提取特征。接下来，我们要从预处理后的图像中通过边缘检测、角点检测、纹理描述等方法提取有意义的特征。最终，我们可以根据匹配结果对图像进行分类和识别，并针对相应特点使用机器学习、深度学习等方法进行模型的训练与预测。然后，将提取到的特征与已知的模板或特征数据库进行匹配，判断图像中是否存在目标物体。
机器人视觉项目：视觉检测识别+机器人跟随（16）
Synioe的博客
09-25 784
跟踪丢失后再检测时加上目标特征匹配，是将第一帧检测到的目标框中的特征提取出来，具体可以采用尺度不变特征SIFT，SURF特征提取， 提取出来的特征，能否以向量的形式保存在变量中，再检测时搜索图像帧中的待确定目标区域（可能有数个这样的roi）， 可以通过计算欧式距离的方式与第一帧图像中的特征进行匹配，快速排除欧氏距离相差较大的检测对象（非跟踪的行人对象）， 当匹配度达到一定值后，即检测到第一帧跟踪的...
机器人视觉跟踪与控制研究(一)
u012374012的专栏
04-21 3471
研究背景: 机器人视觉，通过图像获得外界信息，用于机器人对环境的感知。 提高机器人智能性、环境适应性、自主行为的重要途径。 近年来机器人领域的研究热点之一。 研究内容: 视觉系统标定 目标分割与图像处理 视觉测量与视觉控制 视觉系统标定 1基于环境信息的自标定 •利用环境中的正交平行线获得消失点，标定摄像机的内
机器人视觉项目：视觉检测识别+机器人跟随（17）
Synioe的博客
09-25 2571
参考一个实例行人检测 在ubuntu+ros环境下，利用RGBD采集数据给小车，实现行人跟随。 原作者开源的例子是出现一个窗口，用鼠标选择一个区域做kcf跟随，选择的物体不受限制，物体移动后，机器人随即跟随。 博主实现的是用opencv行人检测的demo，替换原作者的例子。该demo在opencv-2.4.13/samples/cpp/peopledetect.cpp下。 先认识一下原作者的例...
机器人视觉项目：视觉检测识别+机器人跟随（3）
Synioe的博客
09-20 2135
目标：检测并跟随目标（人） on TX2 基本方案 嵌入式设备，计算资源有限，对算法的运行时间敏感。 detection: YOLOv3(-tiny) tracking: KCF 当前状态 YOLOv3在TX2上能跑到5fps，但存在偶尔漏检的情况。YOLOv3使用darknet。 KCF虽然非常快，但很容易跟丢，对于目标形变（人的姿态变化）、目标移动较快、...
机器人视觉项目：视觉检测识别+机器人跟随（20）
Synioe的博客
09-25 4070
1.尝试用tx2外接kinectv1深度相机获取RGBD图像信息，传入到我们的行人检测代码框架中，调试基于深度相机的行人检测与跟踪算法的效果。 首先安装kinect对应Arm处理器的ubuntu驱动程序， libfreenect v2.0 OpenNI V2.2.0.33 Nite V2.0.0 安装libfreenect sudo apt-get install git g++ cmake li...
机器人视觉项目：视觉检测识别+机器人跟随（15）
Synioe的博客
09-25 517
### kinect + winSDK代码 ``` #include &lt;windows.h&gt; #include &lt;iostream&gt;  #include &lt;NuiApi.h&gt; #include &lt;opencv2/opencv.hpp&gt; using namespace std; using namespace cv; //通过传...
机器人在ros下的KCF跟踪算法实现
10-09
ros下实现跟踪算法--相关滤波跟踪算法KCF，通过kinect获得视频流，跟踪视频中的目标对象
视觉自主跟随机器人研究
12-27
采用单目视觉系统实现对特定目标的跟随，移动机器人的视觉系统完成目标图像的识别，通过图像采集和图像处理过程得到移动机器人跟随的方向。在目标识别时，采用对目标人物衣服色彩进行特征值提取的方法来判断跟随目标的正确性，并在平坦开阔的环境中实现对单色模式下的目标进行实时跟随实验。采用混合式体系结构，嵌入式系统包括视觉子系统和运动控制子系统二级系统。
机器人视觉项目：视觉检测识别+机器人跟随（13）
Synioe的博客
09-25 657
收获巨大啊 总结一下编译成功的路线，不容易啊，要哭了。 今天上午也是没有很大的成效，一直到下午睡醒（论好的睡眠的重要性），在一篇帖子中看到一种新的写法，opencv3将IplImage转换为Mat格式的写法，在我们的代码中采用这种方式，改到哪里哪里的问题就消失了，这种感觉非常爽！ 写完整一点，记录准确以后参考。 我在机器人视觉检测中将kinect采集到的视频数据流进行特征提取和匹配，用的是...
机器人视觉项目：视觉检测识别+机器人跟随（12）
Synioe的博客
09-25 731
任务完成情况 opencv的数据格式转换，这次碰上了，主要就是cvMat,IplImage,cv::Mat,InputArray之间的格式转换，现在想要将提取的图像特征时，用一张灰度图传给surf特征检测器，计算出特征点，在这之前需要将图像的数据格式进行转换: cv::xfeatures2d::SURF::detectAndCOmpute(InputArray image, InputArr...
机器人轨迹跟随算法
weixin_42178232的博客
04-23 1294
来源：Matlab官方 机械臂算法包括如下：路径规划（RRT及变体等）、轨迹规划（T型、多项式等）、轨迹跟随（角度空间、任务空间和计算力矩）、电机控制 常用三种轨迹跟随算法：
机器人纯跟踪算法 Base Pure Pursuit
Jameloveworld的博客
05-20 1487
纯跟踪算法是一种路径跟踪算法，他通过改变角速度指令将机器人当前位置移动到前面的某个路径点，并不断的跟随路径前进。适用于很多机器人运动学模型，包括阿克曼和全向轮。本文简单分析求解运动学之后的纯跟踪算法。如果把机器人当做驴，上图形象的解释了纯跟踪算法的原理，纯跟踪算法需要一直更新“胡萝卜”的位置，让机器人朝着路径的方向前进。
视觉跟踪综述
weixin_30699465的博客
07-03 432
　　　　　　　　　　　　　　　　视觉跟踪综述 目标跟踪是绝大多数视觉系统中不可或缺的环节。在二维视频跟踪算法中，基于目标颜色信息或基于目标运动信息等方法是常用的跟踪方法。从以往的研究中我们发现，大多数普通摄像头（彩色摄像头）下非基于背景建模的跟踪算法都极易受光照条件的影响。这是因为颜色变化在某种程度上是光学的色彩变化造成的。如基于体素和图像像素守恒假设的光流算法它也是假设一个物体的颜色在前后两帧...
跟随机器人
weixin_41769570的博客
02-29 386
相机标定---初识相机标定 标定的含义，意义https://blog.csdn.net/KillMeHealMe/article/details/81192685 （可用ROS 中提供的相机标定包对相机进行标定） 基于目标检测的实时单目测距https://zhuanlan.zhihu.com/p/42085600 最详细的目标检测SSD算法讲解https://blog.csdn.net/u0...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值