工业界的深度学习（二）：边缘场景的模型落地与Atlas 500

最新推荐文章于 2024-08-02 19:01:46 发布

JessssseYule

最新推荐文章于 2024-08-02 19:01:46 发布

阅读量2.2k

点赞数 1

分类专栏：深度学习

本文链接：https://blog.csdn.net/jesseyule/article/details/104683695

版权

深度学习专栏收录该内容

32 篇文章 17 订阅

订阅专栏

之前也提到了，学术界的深度学习和工业界的深度学习区别还是挺大的，这次就来谈一下工业界的模型是如何落地的。

首先来回顾一下，项目的目的是对加油站的监控视频做实时分析，看有没有危险行为，就像之前所说的，在加油站部署一个GPU不现实，第一耗电量大，第二机器未必能稳定运行，可能不小心被人撞了一下就断电了，第三那么多加油站每个加油站配一个GPU也是一笔大开销，除了GPU在云端跑数据的传输也是问题，毕竟我们还是讲究一个实时性，所以应该怎么办呢，华为的Atlas 500为我们提供的解决方案。

所谓Atlas 500就是一个性能强大、能在边缘进行实时处理的边缘计算产品，能提供足够的算力跑模型，同时功耗也低，还稳定，能够在极其严苛的环境下工作。

我不知道有多少人知道这个Atlas 500，反正我是第一次接触，说实话，刚上手的时候真的有点混乱，所以，本文的目的会偏向于简单介绍Atlas系列的各个产品，以及模型是怎么部署到Atlas 500上面的。

如果你搜索一下华为的Atlas人工智能计算平台，点进华为的官网你会看到Atlas900、Atlas500、Atlas200还有一些处理器，简单来说，我的理解就是Atlas 900 AI集群、Atlas 800 Ai服务器算力最强，可以用来训练模型，也可以用来做模型的推理，而Atlas 500智能小站只能用来做推理，不能用来训练模型，Atlas 500中有一个Atlas 200AI加速模块，我简单地把它看成Atlas 500的CPU或者GPU的存在，反正Atlas 500能这么高效地进行推理计算，就是因为有这么一个Atlas 200AI加速模块。

硬件方面大概就这样，那么我们怎么部署我们的模型呢，简单来说，就是我们训练好一个模型，把模型结构、参数保存起来，然后用华为提供的mind studio进行离线模型的转化，转化成Atlas 500支持的离线模型格式之后再传到Atlas 500上面，然后就可以调用模型进行推理了，之后模型输出的结果就会保存在Atlas 500上面或者传送回本地。

这样说好像也不难，但是第一，华为只支持caffe或者tensorflow写的模型，而且它还只是支持tensorflow的部分算子，所以说，假如你用pytorch，直接就无缘atlas 500了，另一方面，如果你的tensorflow用的算子太新，atlas也不支持，所以怎么才能用华为支持的算子去写一个tensorflow模型，就变成了整个部署阶段最痛苦的过程。

后期我会再详细说明怎么分析转化离线模型出现的问题、怎么修改tensorflow的算子，这次主要还是简单介绍一下Atlas 500这个边缘计算平台。