别只关注GPT3！细如发丝的模型更具现实杀伤力！

夕小瑶

于 2021-04-19 22:20:00 发布

阅读量418

点赞数 2

文章标签：芯片人工智能物联网编程语言 xhtml

本文链接：https://blog.csdn.net/xixiaoyaoww/article/details/115879044

版权

这个世界上有两种极具难度的工程：第一种是把很平常的东西做到最大，例如把语言模型扩大成能够写诗写文写代码的GPT-3；而另一种恰恰相反，是把很平常的东西做到最小。 ----王苏语录

GPT3自从诞生以来，便受到了学术界、工业界乃至行外大众的夸张式吹捧（我都怕哪天我妈突然让我给她讲GPT3是啥），当然，其中也不乏批评和质疑的声音。不过，本文不讨论GPT3的是是非非，而是讨论另一个相反的极端——边缘计算！用人话讲，你考虑过在51单片机上跑BERT吗？

回到十年前，那是4G还未普及，“物联网”、“智能穿戴设备”概念大热的时代。我甚至依稀记得某次在高速公路上堵车时，看到高速旁边空地上竟然立着一块巨大的广告牌都在宣传物联网概念。

不过，尽管当时的相关产品口口声声喊着“智能”，但其实跟今天的智能比起来，其实就是一段if-else的代码╮(￣▽￣"")╭而当时的主流观点认为物联网的技术瓶颈可能更多的是通信技术、低功耗技术等，很少有人将其与刚刚爆发的深度学习技术联系起来。

而如今，小度小度为代表的智能音箱走入千家万户，开始真的连接灯泡、空调、窗帘等家电家居用品了，才发现，原来物联网缺少的是一个能听懂人话、与人交互的设备控制中枢。但物联网就只能止步于智能家居了吗？

考虑更为极端的场景，假如一个设备，无法像小度音箱那样接入外部电源呢？而是只依赖一块很小的电池，只拥有一个很慢但省电的CPU，以及一块非常捉襟见肘的内存和闪存，它能像小度一样拥有一个云端计算的大型语音识别模型和对话模型/系统吗？

存不下...
算不动...
费电...

哪怕是放在手机这个相对性能强劲的端设备，主流的CV、NLP模型也是办不到的。

而打开这个想象力的AI技术方向就是边缘计算。边缘计算方面最新的一项学术前沿成果是前不久王苏推过的EdgeBERT，不过，本文不过多关注该技术的理论进展，而是谈谈大部分工程师/AI爱好者更关心的应用问题。

让边缘计算落地！

边缘计算是个比较新的研究课题，如果是本着自己DIY一些边缘计算应用的想法，哪怕是行内人员也会被一堆模型+工程问题折腾的够呛。具体来说有包括但不限于以下麻烦：

端设备的硬件/芯片种类繁多，操作系统版本多样，自行适配不仅成本高，且往往难以发挥芯片最佳性能
自行将大模型压缩成支持端设备的“微模型”会面临非常严苛的算法挑战，精度与速度/资源消耗难以两全
端设备部署流程复杂，工程量大

不过幸运的是，得益于对AI to B的深刻理解，百度飞桨前瞻性的打造了一个工业级的边缘计算框架——EasyEdge，全称是“端与边缘AI服务平台”。

EasyEdge是基于百度飞桨轻量化推理框架Paddle Lite研发的端与边缘AI服务平台，能够帮助深度学习开发者将自建模型快速部署到设备端。只需上传模型，最快2分种即可获得适配终端硬件/芯片的模型。

先吹一波这个框架的NB之处。

首先，EasyEdge不仅支持上传本地经Pytorch、Tensorflow、PaddlePaddle等多种深度学习框架训练得到的多种网络结构的深度学习模型，而且还可以直接使用飞桨丰富的开源模型库和EasyDL/BML定制得到的模型。换句话说，无论是经典任务还是定制化任务，都能轻松支持！这些来源广泛的模型经过转换、面向设备的兼容和加速、封装，可以直接输出得到支持各类芯片的端/边缘计算服务。

此外，为了能实现多种神经网络在不同芯片的高效部署，EasyEdge后台提供了非常多的优化，如模型格式转换、图优化、芯片优化、模型低精度量化、模型裁剪和压缩等等。这些都是EasyEdge后台根据用户的选择自动帮用户完成的，开发者只需选择框架，上传自己的模型，选择需要适配的硬件，即可自动生成适配目标芯片的SDK和开发者套件。开发者套件的使用也十分简单便捷，无需关注深度学习、具体硬件等底层逻辑，只需关注输入图片和输出的识别结果即可。

比如，我们可以将一个训好的图像识别、物体检测模型丢进EasyEdge，转化成端模型SDK迁移到手机中，这样你就能轻松的在手机上打造依赖人脸识别、物体检测技术的相关APP啦！