如何消灭飞机的“黑色十分钟”，AI来帮忙！

近年来，“AI的应用和落地”逐渐成了具化的关键词，它和很多事物很多行业结合在一起，形成了奇妙的“化学反应”。例如，在日常生活中，AI可以推送我们喜欢的新闻或视频，可以在拍照的时候识别场景提升照片的美感……. 而今天笔者要说的，可能是从很多人都密切相关但大多很陌生的一个“神秘”的职业说起：机场塔台指挥中心。上海麦图信息科技有限公司，借助华为云ModelArts一站式开发与管理平台，开发出跑道防侵系统。

AI 给了我一双“慧眼”

在机场的每一架飞机起飞或者着陆，从飞机推离停机位到离开机场空域，或相反的降落过程中，背后都需要依靠管制员之间的协作。飞机起降的间隔非常短暂且风险大，有着“黑色十分钟”之说。管制员也被称为是飞行员背后的“眼睛”，对于他们的要求是非常严苛的，需要超长时间集中注意力，尤其在航班密集的时候，管制员需要在极短的时间内对复杂的情况，做出正确判断，这也让管制员们担负着极大的压力。对于普通乘客来说，这可能只是一次普通的空中之旅，但对于管制员来说，每一次飞机起停都伴随着重大责任。

“跑道侵入事件” 是所有管制员们的“噩梦”。飞机起降架次的增多，再加上恶劣天气的影响，跑道侵入事件已成为民航领域航空器地面安全运行的头等问题，跑道安全事故在民用航空事故中也占有很大的比例。然而，随着机场规模和航班密度增加，对于大型机场的塔台而言，单点视野物理受限，数字化程度提升的同时，客观上造成屏幕变多、信息量变大等挑战，对管制员提出了更高的要求，人的主观能动性很强，但往往难以面面俱到。

聚焦在智能航空领域、专注于人工智能技术和应用研发的上海麦图信息科技有限公司，希望用AI的力量破解以上痛点， 让管制员们从高压中解脱出来。为了加强跑道侵入事件的防范，麦图开发出了跑道侵入防护系统，也就是说，在有飞机在使用的情况下，防止其他飞机冲入跑道，从而造成航空线之间的碰撞。

“我们想通过视频去捕捉飞机的动态，把飞机从视频中识别出来之后，再计算它的位置和速度，计算两个飞机之间的运动轨迹，再根据其他的关联数据进行认证，确保飞机之间不会发生碰撞，即使有发生碰撞的风险，也可以提前预知。”麦图项目总监徐擎阳对笔者说。

华为云ModelArts平台赋能模型开发

理想有多美好，现实就有多骨感。众所周知，人工智能包括了训练和推理两个阶段，只有先训练出人工智能模型才能进行推理。麦图面临的挑战是，项目开发团队基本是专注在软件应用开发和数据分析层面的，对于计算机视觉技术方面的研究并不深。2018年，项目团队也开始尝试过很多场景，“当时是两个问题制约了我们，一是视频的清晰度不够，当时高清视频摄像机还没有普及。二是没有好的AI开发平台，算力和工具都不够。到了今年，4K摄像机也开始普及了，训练工具ModelArts也有了，这个事情就可以做了。”

徐擎阳说，华为云ModelArts提供了全流程的AI开发与管理平台，在很大程度上降低了麦图科技进入视频AI领域的门槛，“如果没有ModelArts，在准备训练前，需要自己买设备，去开源社区里面找这方面的技术，学习构建和配置环境；在训练的过程中，要涉及到设备维护、性能调优，以及标定工具的开发等等。这个过程是会非常漫长和繁杂的，我们在管制语音识别的产品AI核心开发过程中已经体会过一遍，过程非常痛苦，代价非常大。”

对于麦图来说，ModelArts带来的效率提升的价值显而易见：“第一版模型开发，从标定到训练，到最后给客户做演示，只花了三天时间。如果用传统的方法做，可能连服务器的快递都寄不到。”

徐擎阳介绍说，在这个系统中，“光电盯防子系统”是一个重要的实时核心，它需要具备较完整的“基于视频流的航空器目标识别和跟踪”能力。通过将机场平面各个关键点采集到的实时视频流送入基于华为云ModelArts一站式AI开发与管理平台开发的“航空器识别模型”进行处理，识别出画面中飞行器对象的像素坐标等一次参数后，对其进行空间位置换算，以及包括速度、运行方向等在内的二次参数的计算，并在系统运行数据中找到相匹配的航班信息对目标进行信息标记，以AR信息增强的形式呈现在监视器上，让管制员以“抬头显示”的形式在单一屏幕中直观了解到足够全面的动态信息。同时该系统会在后台对所有目标的轨迹和矢量动态数据进行监控和推算，让计算机能够代替或辅助管制人员在全局范围对每一个航班、每一个道口进行实时盯防，提前预知潜在运行风险，从而降低事故发生的概率。

此模型单帧主要目标识别准确率可以逼近96%，多帧识别中主要目标识别结果可在99%以上。目前，麦图正在尝试Mask-RCNN模型，将坐标输出精度提升至像素级，实现更精确的航空器识别和位置计算。

模型开发代码如下：

1.开发流程

本项目基于Yolo模型，其主要程序参考华为“ModelArts/开发环境/notebook”，Examples中的mxnetobjectiondetection项目构建。

1.1 基本流程与yolov3

本项目基本流程如图，基本遵循从华为提供的样例代码开始进行修改，并最终调整应用的过程。如开发其它类型基于华为样例代码的工程，同样可以参考本开发流程。开发流程示意图如下：

本项目使用yolov3模型,该模型是经典的目标检测模型。可以实现快速、准确的目标检测。其采用darknet_53作为特征提取网络，并采用多层级检测的方式，实现对大小不同的目标进行快速检测。详细内容可以参考论文原文： YOLOv3: An Incremental Improvement

1.2 标注并准备训练数据

模型开发的第一步就是进行数据，由于ModelArts提供的数据准备函数是基于PASCAL VOC 系列数据集的，其中每一张图片对应一个xml标注数据文件。具体可是可以参考PASCAL VOC（http://host.robots.ox.ac.uk/pascal/VOC/）系列数据集的描述和详细内容。

标注数据与调整数据集结构是一件非常麻烦的事情，但是ModelArts已经对目标检测的标注提供了完善的数据标注工具支持。本项目也采用ModelArts提供的数据标注工具进行相关工作。具体的说，将采用ModelArts提供的”数据管理/数据集“功能创建”目标检测“数据集以进行标注工作。具体流程可以参考官方数据管理使用指南（https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0003.html）。

由于后续我们将在notebook中训练，因此得到的数据集还需进一步处理。先标注数据，然后发布数据集，标注数据会保存在obs://数据集输出位置/dataset-****/annotation/数据版本号/annotations中，其保存形式为与图片名称相同的xml格式文件。将xml标注文件与对应的图像文件放在同一文件夹中，则可以构筑本项目所需数据集。为方便起见，图像与标注文件文件夹仍保存在obs中的同一文件夹中。

除了单纯的提取数据之外，还可以根据个人需求进行简单的数据加工，比如重新改写标注名称等等。由于本项目中无需额外处理，因此具体方法不再赘述。

1.3 获得参考代码

参考代码有两个来源，一个是华为提供的notebook example中的notebook代码，另一个是notebook中需要下载的库代码，本小节将描述两个代码具体的获得办法。

参考notebook代码可以在ModelArts Jupyter Notebook下通过Examples中的mxnetobjectiondetection打开。具体位置如图：

而其他的参考代码获得方法则略有不同。我们可以在notebook文件中看到，该notebook正常运行需要通过wget下载代码，该代码即为我们需要的参考代码。位置如图：

在公网也可以正常下载，可以使用如下命令直接下载然后减压缩获得参考代码:wget https://ai-course-common-20.obs.cn-north-1.myhuaweicloud.com/object_detection/object_detection.tar.gz

1.4 修改数据准备代码，加载数据

方便起见，notebook代码和其他参考代码放到一个文件中进行使用，且都存储于obs上。其他参考代码主要用于提供python库包，所以不用修改，修改内容集中在notebook代码中。修改内容较为繁杂，具体修改内容可以通过对比本项目提供的notebook文件和原始notebook参考代码来确定。这里仅就其中较为关键的部分进行说明。

参考下图新建notebook，然后使用“mxnetobjectdetection.ipynb”作为基础代码，以进行修改。

修改文件读取方式，加载其他代码和文件

ModelArts的初始工作目录是/home/ma-user/work，所有文件操作都是基于本地系统的，不能直接使用obs中的程序与数据，因此需要修改数据读取方式。在notebook开始位置添加代码&#x