SLAM学习 | 使用小觅相机MYNTEYE-S1030收集数据集

最新推荐文章于 2024-05-21 16:56:27 发布

置顶 Chen_Tianyang

最新推荐文章于 2024-05-21 16:56:27 发布

阅读量4k

点赞数 6

分类专栏： SLAM 技术日常机器学习文章标签： slam 小觅相机 SDK调试

本文链接：https://blog.csdn.net/ctyqy2015301200079/article/details/107821371

版权

机器学习同时被 3 个专栏收录

13 篇文章 15 订阅

订阅专栏

技术日常

12 篇文章 0 订阅

订阅专栏

SLAM

10 篇文章 2 订阅

订阅专栏

概要： 最近需要采集数据集，正好学长给我留了一个大概是两年前买的小觅S相机，具体型号是MYNTEYE-S1030-IR。该相机配备有双目镜头和两个IR主动光发射/接收器，同时其内部嵌入了IMU模块，并提供双目帧同步和图像帧与IMU的同步，据称视觉与IMU的同步精度可达5ms以内。同时该相机配备有比较完备的SDK，将一些比较常用的功能都封装好了，比较容易开发，所以打算先用这款相机试一试。这篇博客就用来记录一周来的调试过程。
关键字： 小觅相机; Ubuntu环境配置; 自制数据集

1 前言与若干错误记录

先上图，我的这只小觅相机是长这个样子滴：

图1 小觅相机

这个相机卖相倒是不错，只不过在现在这个时间点（2020年8月初），设计生产相机的公司“小觅智能”估计是凉了。原因就是他们家的官网和开发者网页都打不开了，而且连淘宝都是商品下架。唉，好惨，这样一来所有的技术支持基本就泡汤了，我好倒霉……现在也就只有github代码库和SDK手册两个链接管用了。这里记录一下：

slightech公司的github代码库
小觅相机SDK手册

刚拿到相机，首先当然是照着SDK手册的指导编译SDK。在这个过程中我遇到不少麻烦，但是最终都被解决了，这里记录下。

问题1： 运行指令“make init”时成功，但在运行“make install”时出现错误，卡在编译“synthetic.cc.o”目标文件处，根据报错提示，发现原因是当前电脑上的openCV是4.1的，版本过高，不配套，于是重装openCV3.4.2。

问题2： 编译一直到“make samples”都是正确的，但是运行时报错“openCV2.X不支持BM”。这个报错比较诡异，因为我刚刚才装了3.4.2的版本，怎么会是2.X？看了下SDK给的信息，检测到的openCV版本是2.4.11。于是我通用下面的指令查了一下，显示的是3.4.2。

pkg-config --modversion opencv

很奇怪，这说明刚刚安装的openCV3.4.2没错，但是SDK自动链接到2.4.11版本上去了，这或许说明电脑中同时存在两个版本的openCV.于是我又把所有OpenCV相关的内容删除，并把/usr/local下openCV相关的文件删除，最后上述指令得到的版本号又变成了2.4.9.1，而此时再运行samples下的例程则报错，显示未检测到openCV。很诡异的错误，总结一下就是：安装openCV3.4.2后SDK会使用OpenCV2.4.11，而将openCV从电脑中完全删除后，能检测到2.4.9.1的版本，却无法运行对openCV依赖的SDK。
后来偶然发现电脑同时安装的anaconda里有opencv，且版本正好是2.4.11。不过anaconda管理的都是python包，又怎么会和C++产生这种“莫名联动”呢。百思不得其解，最后无奈上大招解决：换一台空电脑，完全重装！

问题3： 例程get_imu_coorespondence需要USB3.0的接口才能获取数据，否则会报错“Timeout waiting for key frames. Please use USB 3.0 and not in virtual machine.(已放弃核心已转储)”。
问题4： 例程get_depth_and_points需要安装pcl库，才能显示点云数据。

2 成功的流程

在遇到上述问题之后（实际上远不止上面罗列到的几个），想来想去，估计步步报错的原因很可能是电脑环境太乱了以至于经常发生环境冲突，于是搞了一台空白机，从操作系统开始安装。需要安装的各软件及其版本号分别如下：

Ubuntu18.04 + 自带GCC + openCV3.4.2（无需opencv_contrib） + 小觅相机SDK2.5.0 + 固件MYNTEYE-S1030-2.5.0.img

编译顺序参考上文给出的SDK使用手册链接即可：

sudo apt-get install git
git clone https://github.com/slightech/MYNT-EYE-S-SDK.git
cd MYNT-EYE-S-SDK			# 进入路径
make init					# 准备依赖
make install				# 编译源码
make samples				# 编译例程

现在就可以运行samples中的例程了，这些程序的可执行文件在/samples/_output/bin中，例如运行：

./samples/_output/bin/camera_with_junior_device_api

SDK就在屏幕上显示相机的光学和IR图像，并在terminal中显示IMU数据，如下图所示：

图2 小觅相机运行camera_with_junior_device_api例程

由图2可知，例程camera_with_junior_device_api用3个窗口分别显示左右光学图像、深度图像和disparity图像，同时另在terminal中显示IMU信息，包括时间戳、三轴加速度、三轴角速度和IMU温度等。

同理，运行例程：

./samples/_output/bin/record

即可得到相机的图像数据和IMU数据，并能指定图像帧率和IMU频率。得到的文件结构如下图所示：

图3 小觅相机运行record例程采集到的数据的文件结构

由图3可知，例程record分别采集了光学、深度和disparity图像以及IMU运动数据（在文件motion.txt中），另外各类图像的时间戳等信息保存在各自文件夹内对应的文本文档中。

这里需要引入问题5，也就是时间戳的不对应。在前几次实验中，相机和IMU的时间戳相差极大，根本不像是读取字同一系统的时间，例如相机的时间戳往往有19-20位数字：

1844674405593564536

而IMU的时间戳的位数却很少，如：

24833652380

经过前后对比，逐渐确认一点：两种时间戳都是精确到微秒（us）的，也就是说从后面数第七位才是秒数。但问题是这两种时间戳都不是Unix时间戳，Unix时间戳以英国格林尼治时间1970年1月1日凌晨0时（北京时间1970年1月1日早晨8时）作为起始点，到2020年也不过10位秒数，即使精确到微秒也才16位。

为了解决这一问题，首先是查代码和SDK说明手册，查到如下如所示的内容：