巡检机器人视觉系统

巡检机器人视觉系统

随着AI的发展，视觉应用越发的成熟了。其中对于小场景的应用也越来越多，因为圈子原因，我接触最多的就是巡检机器人视觉系统。
本人不是特别会文字功夫，写这篇文章的目的呢，一是：小小的曝个光，我们是做智能业务非标定制的。二是：欢迎各位有意向的找我们合作。三是：对做项目遇到疑问的朋友进行解答【仅限视觉方面的哈，其他的我们也没人会】。

一、检测目标：

开关、信号灯、阀门、仪表、人等

二、系统实现的功能

1、对机器人移动过程中的目标进行实时检测与反馈
2、可实现固定摄像头的接入，实现智能监控的效果
3、系统参数自迭代

三、系统核心功能

1、仪表识别【参考本人其他博客有相关的说明】
2、综合面板的识别
综合面板上往往有多种待检测识别的目标，如开关、指示灯、拨片等。
3、人员管理
对场景内的人员进行识别并结合数据库判定其进场是否合规
4、温度测量
通过红外相机成像，测量设备的核心温度
5、机房监测
通过固定摄像头进行机房各种仪器状态的监测——即指示灯动态监测
对接线口的监测——即是否接线
6、缺陷检测
对指定设备、位置进行缺陷检测
7、跑冒滴漏检测
对液压油等存储、流通的地方进行跑冒滴漏检测

四、系统设计

采用离线与在线两种模式进行设计。
离线系统使用tx2部署到机器人身上，可以支持机器人的独立业务。处理速度达20fps。
在线系统部署至服务端，支撑监控检测等业务，使用GPU服务器，处理速度可达25fps。
整个系统业务流程如下：

业务流程比较简单。里面的很多坑是在算法系统本身上。
1、采用视频流的方式处理不能每帧都进行处理，会拖慢系统的响应时间，导致数据堆积，时间一久就内存爆炸。
2、视觉很容易受环境干扰影响，哪怕是鲁棒性比较好的模型也不例外，所以很大一部分精力的花在结果校验上。简单说就是自检。具体如何自检，简单的理解可以认为：“我一分钟前还看到你在网吧打游戏，怎么可能一分钟后你就在家里洗衣服呢”。然后就是不停得刷新系统的“认知”。
本质上呢，系统的参数分为了两部分，一部分是模型的参数，另一部分呢，可以理解成是业务的参数，这部分参数会不停的进行更新（说好听点叫做学习），然后对模型的结果进行后处理。【别问我为什么不直接在模型的网络结构上动手，就是麻烦，一般我会在项目结束后单独花时间改模型，毕竟我们不是科研公司，还是以业务为导向的】
如果要把这一块东西理清楚得单独写一篇文章，因为场景中很多动态的问题，不能完全进行前后两帧的比对【ps：本人比较懒】。第一次遇到这种情况的时候，我确实直接用的前后两帧对比，但是用这种办法需要对前后两帧的目标进行锁定（跟踪）。做过目标跟踪的小伙伴应该能体会里面的痛，尤其是对于密集的相似目标。
3、就是对各种处理机制的算法不停得做优化了。这点大家可以看看我前面关于仪表识别的博客，很早就发出来了，但是到现在还在不停得优化改进。从一开始的分类别单独写处理机制，迭代到现在有些问题可以一次性处理。精度的杠杠的，各地都有它落地的身影了。

PS：现在很多的智能项目无法落地，其实项目本身的业务并不难，之所以不能落地，是因为没有明确的规划，虽然智能项目带有智能二字，但是它也是需要一大串的t条理清晰的逻辑交织形成。只要理清楚需求，就能对应地制定出方案。剩下的就是技术层面的问题了，在现如今知识爆发的阶段，技术层面的问题基本都能得到解决，当然最终效果还是看算法师能力的。

如有疑问，请联系我vx：2577082896或评论区留言。