移动机器人部署的总结

移动巡检机器人部署的总结

前言

前言：21年入职机器人公司，负责移动巡检机器人测试及部署。22年项目失败，项目组全部大礼包，机器人业务线被取消。于是总结一下机器人部署的得失，为后来者提个醒。

研发缘由

公司原本是作视频监控业务的，鉴于上升的安防需求，于是决定开始安防机器人的业务线。主要业务是大型商场的安防，安检机器人会巡视每家店铺，拍照上传视频与VR。

技术方案

机器人从9号机器人公司购买，九号机器人

拆掉外壳后保存底盘，然后安装自定义外壳、nuc、路由器、充电桩，等于二次开发。

加装外壳，投入测试及运营。

软件与算法全部自研，并增加激光雷达进行导航。

主要功能有：

1、室内建图导航，定期定时巡航。实现在商场-1层至顶楼的指定路线巡逻。
2、乘梯。包括召梯，出入梯，人过多时不入梯等。
3、应用功能（比如在每家店铺门口拍照、使用算法检查店铺开业情况并按时发送给商场管理；每周一次VR录制；携带空气质量检测器进行巡逻等）
4、定时开关机，回家充电

研发经历

机器人开发后，简单自测投入约30个大型商场，每个商场搭配一个驻场。（如图为在万达广场的运营路线）

这时各种各样的bug爆发，应接不暇。不断发版本进行补救，发硬件让驻场替换。但是最终迟迟不能脱离驻场，不能盈利。投资人最终失去耐心，不到一年内裁掉整个项目组。
（图为一位现场实施的兄弟，最后大家集体毕业后，收尾时的朋友圈）

经验与教训

这个机器人项目挂了的主要原因是项目拖的太久，产品盈利模式不清晰，迟迟未能盈利。正好碰上硅谷毕业潮，投资人撤资，最后曲终人散。

1、盈利模式错误；客户付费意愿底。
随着人工成品的上升，保安的工资也水涨船高。杭州一个科创园区，物业每年的盈利只有百万-千万左右，但是保安每人每月总成本大概1w。40个保安两班倒，只能实际维持同时20个人左右，除掉监控与门岗，实际每3栋楼能有一个保安。即使这么低的配置率，人工成本40人1w/月12月=240w。30个保洁，每人5k，30人0.5w/人12月=180w/年，合计420w。即一个物业园区的大部分利润都被保安、保洁消耗了。安防智能化是很不错的方向。
但实际我们作出的产品无论是价格，还是功能，都并没有满足客户的要求。实际的 产品如图所示：只能沿平地运行，按时拍照上传结果。（如图所示：只能提供拍照服务）

这样的工作量只要办公室一个人就可以完成，大概等于4k/月的工资。所以商场按照付费租赁的模式，一台机器人一年租金4w左右。而一台机器人成本大约15-20w，就算顺风顺水的部署，也要3年以上回本。这个盈利模式实际就是个不归路。

2、稳定性差，尤其是硬件拖延进度，影响交付
【软件问题-定位】
首先是软件问题。尤其是丢定位、定位飘、开机找不到定位、出梯没定位、乘坐电梯、出电梯后切换地图及重定位、防跌落功能。这里重点讲定位问题，因为定位问题从头到尾都在困扰整个项目，没有彻底根除。
定位问题1 ：丢定位过多，从视觉slam转激光slam
刚开始方案是视觉slam定位，用360相机前后双镜头，实际运行中发现算力不够，cpu涨到70%以上；而且很容易受到干扰。一旦机器人转动幅度过大，或者商场行人较多，就直接丢定位。
对策：修改方案，头部增加激光雷达，使用激光slam方案进行定位。然后将商场已部署的的机器人都更换外壳，加雷达、加驱动。。。。总算是把问题暂时压下去。
定位问题2：定位漂移、偏移
换装激光雷达后，巡检中出现，机器人的位置突然漂移。原因有多种：雷达故障导致点云减少至个位数、硬件松动、imu数据错误、odom打滑。各种问题应有尽有。
定位问题3：出电梯定位/开机定位

因为机器人需要在商场乘梯，出电梯后切换新的一层的地图。这点带来了大量的问题，直到领大礼包的前几天还是收到大量的反馈。大约收到100余条bug

入梯

主要的原因有：
a 地图没有录制好，尤其是电梯间录制的比较稀疏。
b 电梯内激光雷达会导致电梯无法关闭。因此入梯关闭雷达，用单线雷达2D定位，出梯再打开激光雷达进行3D定位。但是打开的时候雷达数据有时正好是反的，或者点云数量不足，导致定位失败
c 电梯间装修的跟ktv一样，全是高反射镜面。根本没法定位
d 出电梯后，正好面对大厅，点云稀疏
e 出电梯后，正好有那种小火车经过，环境不一致，无法定位
f 其他问题。最后20%都没有得到修复。原因是出电梯需要与梯控交互，交互设备需要我们自行安装，每个商场还不太一样。有时坏了，找师傅修，师傅则是等一个星期才有空。。非常拖延进度。
其他公司有的解决的比较好，像猎户星空出电梯很顺畅。

【硬件问题-可靠性/方案可行性】
如果说软件的坑是小风雨，那么硬件的坑就是暴风雨。直到后期还在一直寄硬件，每个项目一直改来改去。
整机重启、360相机重启、与梯控连不上、出电梯把线振掉、深度项目数据过期以及点云没法用。。。

【最终运营结果】

以北京为例，经过4个月的不断调试。在2022年3月份，每个万达广场有记录的【现场干预次数】为平均10次左右，【后台干预次数】平均达到20-40次。
举3-6月运营故障例子：
1、3月1日。上午十点左右机器人巡检过程中被1F的6号门挡住了，导致机器人停留超时。人工干预。（评价：机器人无法应对关门的问题。所以由运维人员用扎带把门常开，但是总有人又把门关上。无法从根源解决问题）
2、3月17日。360相机的拍照角度被人为改动150度，到达现场，将角度修改为正常360度。（评价：相机露在外边，不被人偷了就不错。）
3、3月21日。梯控设备被关闭，全楼层使用人工（评价：不靠谱的乘梯方案）；
于10：20 4F 灯箱点位附近的防盗门关闭，后台控制机器人绕行。；
于10：41 3F机器人出梯后5分钟自行定位失败，后台手动定位。；
于11：10 3F 机器人在进梯前2D定位偏离，导致机器无法到达电梯内部乘梯点，后台重新定位重新招梯。
于12:39 B1 机器人在进梯前2D定位偏离，导致机器无法到达电梯内部乘梯点，后台重新定位
4、3月22日。3-4乘梯失败，3-2乘梯失败（评价：又是不靠谱的乘梯方案）
5、3月23日。10:00 深度相机问题导致进梯失败，远程关闭深度相机恢复乘梯。 12:02 360相机异常，远程开关巡检队列调度恢复。（评价：又是不靠谱的乘梯方案+无力吐槽的360相机）
6、3月24日。机器人巡检过程中一直在无故避障，导致多数点位被机器人自动跳过，（评价：2D雷达的故障）
7、3月25日。巡检完成后，机器人返回充电桩失败，重启恢复。（评价：估计是软件问题）
8、3月31日。10:00 机器人招梯后一直重试招梯，到达现场用遥控设备打开。（评价：又又是不靠谱的乘梯方案）11:43 2F电梯口消防门未开，到达现场给机器人开门。（评价：还是老问题，机器人开不了门啊）
。。。。。
9、11：54-11：58B1苏宁易购门口360相机异常，检查相机恢复了出厂设置，重启相机重新设置后恢复巡检。（评价：还是360相机）
9、4月6日。 机器人开始巡检时，反方向巡检 路过3F万达影院时，因灯光过于强烈，导致机器人报 前方悬崖 无法过去 ，手动绕过该地点 ；机器人在巡检完2F时，不乘坐电梯（评价：超声波测距的问题，传感器对强光场景不行）
10、4月14日。 3F巡检完成后 准备乘坐电梯3-2 在招梯过程中 电梯门敞开，机器人不进入电梯，再次过程并未发现机器人报避障，只是呆在原地（评价：又又又是乘梯）
11、4月22日。1，4F 通道门未开启，控制绕过。2，11:28 机器人在电梯被乘客强行推出。（评价：又又又又是乘梯）
12、4月26日。11:29 1F 机器人无法正常出梯，手动带出。（评价：又又又又又是乘梯）
13、09：55-09：56一层KFC门口临时围挡阻挡乘梯路线，保安大哥挪动围挡；11：33-11：36B1出梯有围挡，人工挪动围挡；11：54-11：57B1进梯有围挡，人工挪动围挡。（评价：现场环境一变，就需要人工干预）
14、KFC定位丢失，远程无法定位，SLAM反复停止，拔插路由板解决（评价：硬件问题）
15、3F电梯厅等梯6分钟电梯未反应，怀疑电梯通信异常，暂停后恢复任务，稍后机器人视频失去连接，1分钟后画面恢复，机器人已在电梯厢内背对电梯门，且不能出梯，手动将机器人带出电梯（评价：又又又又又是乘梯）
16、B1爸爸糖围挡，导致定位偏移，重定位。（评价：环境改变导致定位问题）
17、B1出梯后360相机异常，手动重启（评价：还是360相机）
18、2F电梯门口小火车阻挡机器人巡检点位，远程控制机器人前进无反应（评价：小火车是机器人一生之敌）
19、1F电梯人流过多，机器人6次乘梯失败（评价：又又又又又又是乘梯）
20、1F 小鹏汽车点位举办大型车展阻挡机器人拍照路线，后台控制绕行（评价：现场环境一变，就需要人工干预）
21、在2楼过拐角的时候，机器人报【被挡住了请让一让】，不能动。
原因是离栏杆较近，会出现robot block或path blocked，导致机器人无法继续巡检；避障时撞到玻璃围栏（评价：是否可以用仿真环境对这种corner case进行测试？？）
22、速度为1.2m/s时，有次差点撞到小朋友（评价：算力原因，没有添加预测算法，对小孩这种矮小快速无规则运动，还是有危险的。撞到孕妇也危险）
23、梯控还未修复，10：31，11：10手动乘梯2次，过道摆有鲜花，11：38手动遥控机器人通过2次，并人工取证漏拍（评价：又又又又又又又是乘梯）
24、实时视频一断一续。远程的话只能后退到有通道位置让路，看不准就会撞两边玻璃
25、11：30分机器人在一楼2号中庭位置发生了定位漂移，远程定位不到机器人的位置，于是前往现场重新定位，恢复正常巡检。
26、早上开机后自动定位未成功，到现场手动定位；机器人出梯楼层错误。
27、远程后台看不见视频流，显示相机未格式化，清理media_servie 恢复视频流； 巡检结束回充电桩，不能识别回充电桩，重新设置回充电桩位置。
。。。。。。

经过以上数不清的问题，现场始终无法脱离运维人员。每个广场至少一个运维在保证现场干预。本来利润就很少，运维人员无法节约，所以迟迟无法盈利。不能实现投入运营及盈利的目标。

总结

1、盈利模式要清晰。
一台成本就15w起的机器人。光硬件都2年回不了本，想想都离谱好吧，纯粹就是拿投资人的钱霍霍。起码要有一个靠谱的产品经理/项目经理。把周期管理起来，不能临时加功能，还在硬件上大改，最后必然延期。
2、软件跟硬件相互制约。硬件稳定性、软件通用性。
实际的经验证明：稳定可靠的硬件以及成熟的软件是多么的重要。而不稳定的硬件+各种corner case考虑不到的软件，最后都会互相放大。
3、多用成熟方法。
机器人无非就是移动平台+应用平台。最好有一个经验丰富的LD，熟知各类成熟方案。如果定位+梯控方案成熟可靠，这个项目可能会是另一个结局。
4、硬件测试要抓起
可以对硬件以及驱动设计测试用例；比如激光雷达要反复开机，测点云数量，测点云方向是否正确。超声波雷达对玻璃、刚拖完地的高反射地板的距离检测效果。
5、不要用民用级别产品
不要用民用级别的零部件产品，稳定性害死人，比如insta360相机。简直从头坑到尾。

反思：移动机器人到底应该如何测试？如何使用有限的机器人，在有限的时间内，尽可能的覆盖全部场景？

作为这个项目的测试负责人，我也一直在反思这个项目。有如下的体会与大家分享：
7-1:机器人也要有准入准出标准：
不能随便跑一下没问题就上线。因为项目紧急，都是软硬件搭到一个机器人上，在一个商场测试7天，就在全国上线。这种宽松的测试方案、上线标准是非常不合理的。准出标准应包括：算法质量测试、硬件稳定性测试、问题回归百分比、重大问题解决率、实车测试覆盖率等
7-2：机器人定位、导航测试：
7-2-1：对定位算法的测试过于宽松，应增加可变场景测试。只是在固定的一个商场中的固定场景，录制地图+指定路线巡航。实际应该在虚拟场景中，对录制完毕的场景不断增加围挡、行人之类的障碍物，修改场地环境。查看算法对场景变化的适应性。（商场的店铺也是不断的有旧店改造装修，对环境影响较大。测试用例没有考虑到这些）
7-2-2：对于定位的硬件的功能测试不足。尤其是2D\3D雷达的测试也不足。2D雷达对于强光环境、3D雷达对于高反射环境的表现都很差，而我在测试中没有考虑到这样的环境。
7-2-3：对于定位的硬件的稳定性测试不足。出现3D雷达降频，点云减少、开机后点云方向错误的问题。

7-3：机器人应用模块的部件测试
硬件与算法不同。算法可以近乎0成本搭建仿真场景进行测试，而硬件价格昂贵，实车测试的成本高。如何用有限的时间+场景，测试出硬件在长期使用中的各种突发问题？比如如何测试不同商场不同电梯的乘梯功能？梯控不一样，各种不一致都导致难以测试
7-3-1：360相机、工业相机、深度相机的功能、稳定性测试。所有传感器都要有震动、重启等针对性的测试。至少参考业内通用的测试标准，不能直接脑袋一拍就上线用。
7-3-2：机器人网络测试。总是出现巡检任务下发失败，视频流不显示的问题。
7-3-3：乘梯模块应单独搭建测试场景。但是如何测试不同品牌梯控场景下的稳定性，待思考。
7-3-4：充电桩的测试也太少了。具体测试方法待思考
（未完待续）

（本来准备投入亚运会。结果亚运推迟，我们也毕业了。图：在黄龙体育中心做亚运项目演示）