云机器人软件结构

第一篇

文献信息：车慧敏.云机器人支持的复杂物体检测技术的研究与实现 [D].国防科技大学,2017
研读日期：20200519
关键：机器人+云计算+图像处理

图像处理相关

• 生成对抗式网络GAN，StackGAN
• 语意解析工具 NLTKF(Natural Language Toolkit)
• 根据像素坐标定义位置

机器人和云计算相关

• RoboCloud
  （一个机器人云平台（找的信息较少，不知如何使用，可能是自己搭建的））
  相关引用文献：Toward QoS-Aware Cloud Robotic Applications: A Hybrid Architecture and Its Implementation 通讯作者仍是国防科技大学
  
  此文仅用到RoboCloud的私有云与机器人的协同部分
• ROS操作系统
  ROS是一种原操作系统,能够部署在不同的操作平台之上,使得不同的机器人平台、不同的ROS程序包之间简答地实现通信
  文献相关：Quigley M, Conley K, Gerkey B P, et al. ROS: an open-source Robot Operating System[C]// ICRA Workshop on Open Source So tware. 2009.
  使用了ROS Bridge软件包
  ros bridge是ros官方为开发者提供的一个用于非ros系统和ros系统进行交互通信的功能包。
  相关文献：Crick C, Jay G, Osentoski S, et al. ROS and Rosbridge: Roboticists out of the loop[C]// ACM/IEEE International Conference on Human-Robot Interaction. IEEE, 2012:493-494.
• Docker技术
  本文作者实现了两个功能，使用Docker实现程序的封装、隔离以及通信。
  Docker是近年来较火的轻量级容器技术,能够实现资源隔离,即搭建在同一平台上的多个容器的执行之间不会产生冲突。
• 增量学习 Google Image Search API
  如指令：a red apple placing on a brown table
  解析指令发现 模型M中没有关于名词apple的数据
  选择这个请求发送到云端互联网查找。

基于私有云搭建如图3.3所示的复杂物体检测系统,用户将复杂语义描述发送给机器人,机器人直接将其传送至云端,进行处理,若请求涉及到机器人未知的知识,则像公开云询问并下载相应的图像信息,在私有云中进行增量学习。而后机器人在室内漫游,使用ROS Bridge[70]软件包(底层使用TCP协议)将获取图像信息发送至私有云端进行复杂物体检测,检测程序处理完成后将结果 “match”、“notmatch”、“interested”通过ROS Bridge反馈回机器人,从而使得机器人做出相应的动作。

实验部分

• A）
  在本实验中,神经网络相关的部分是计算密集型任务，搭建在DELL PowerEdge R730的私有服务器上
  Turtelbot机器人负责使用单目视觉传感器收集视觉数据,以及接受私有云处理后反馈的结果。
  机器人接收到任务:找带有“This flower has long thin white petals and a lot of yellow anthers in the center”语义描述限制的一种花。
  机器人首先将该描述发送给私有云来生成一朵与描述相符合的花的图像
  然后机器人在环境中漫游,直到获取到的匹配分数大于60%,则表示找到一个可能是目标物体的区域。此时机器人选择靠近这块区域并进行进一步的检测,直到获取到的匹配分数大于90%为止(设置Tmatch为0.9)。机器人将Tmatech>0.9的区域的位置反馈给用户

• B）
  在真实环境中布置了如下实验场景
  让机器人寻找“ A cup placing besides an orange”
  当机器人拍到第一幅场暈,场景中有茶杯,但是没有橘子(将“保温杯”识别为背暈类是
  因为训练数据集中无“保温杯”类别)。
  在第二幅图中,机器人同时找到了 “cup”和“orange”,通过像素坐标计算二者之间的关系,发现其关系是“besides”的关系,与要寻找的复杂语义描述是基本匹配的,因此,该杯子即为人类需要找的。
  

第二篇

文献信息：Osunmakinde, I., & Vikash, R. (2014). Development of a Survivable Cloud Multi-Robot Framework for Heterogeneous Environments. International Journal of Advanced Robotic Systems.
异构环境的可生存云多机器人框架的开发

针对云和机器人断开连接的现象，提出了可生存的云多机器人（survivable cloud multi-robotics,SCMR）框架，这项工作有助于应对云机器人技术中断开连接的挑战。

自我理解：
机器人之间：ROS
机器人到云：Web Socket
使用Java构建的客户端/服务器应用程序实现了SCMR框架的原型
客户端/服务器应用程序是使用Java中的套接字编程开发的，客户端套接字和服务器套接字之间的通信使用传输控制协议（TCP）通过流通信协议实现。

第三篇

文献信息：Collaborative Robot Transport System Based on Edge Computing
1）设计和实现一个协作系统，该系统由两个异构机器人（移动机器人StellaX和一个六自由度（DoF）机械手）组成
2）提出了一个名为Docker Edge Robotics Framework（DERF）的基于边缘计算的系统，如图6所示，用于异构机器人之间的通信和任务分配。
3）实验结果证明，在对象检测，室内自主导航等任务中，基于边缘计算的框架比基于云计算的框架具有更低的延迟和更快的响应速度。
（待更新）