这个世界上有两种极具难度的工程:第一种是把很平常的东西做到最大,例如把语言模型扩大成能够写诗写文写代码的GPT-3;而另一种恰恰相反,是把很平常的东西做到最小。 ----王苏语录
GPT3自从诞生以来,便受到了学术界、工业界乃至行外大众的夸张式吹捧(我都怕哪天我妈突然让我给她讲GPT3是啥),当然,其中也不乏批评和质疑的声音。不过,本文不讨论GPT3的是是非非,而是讨论另一个相反的极端——边缘计算!用人话讲,你考虑过在51单片机上跑BERT吗?
回到十年前,那是4G还未普及,“物联网”、“智能穿戴设备”概念大热的时代。我甚至依稀记得某次在高速公路上堵车时,看到高速旁边空地上竟然立着一块巨大的广告牌都在宣传物联网概念。
不过,尽管当时的相关产品口口声声喊着“智能”,但其实跟今天的智能比起来,其实就是一段if-else的代码╮( ̄▽ ̄"")╭而当时的主流观点认为物联网的技术瓶颈可能更多的是通信技术、低功耗技术等,很少有人将其与刚刚爆发的深度学习技术联系起来。
而如今,小度小度为代表的智能音箱走入千家万户,开始真的连接灯泡、空调、窗帘等家电家居用品了,才发现,原来物联网缺少的是一个能听懂人话、与人交互的设备控制中枢。但物联网就只能止步于智能家居了吗?
考虑更为极端的场景,假如一个设备,无法像小度音箱那样接入外部电源呢?而是只依赖一块很小的电池,只拥有一个很慢但省电的CPU,以及一块非常捉襟见肘的内存和闪存,它能像小度一样拥有一个云端计算的大型语音识别模型和对话模型/系统吗?
存不下...
算不动...
费电...
哪怕是放在手机这个相对性能强劲的端设备,主流的CV、NLP模型也是办不到的。
而打开这个想象力的AI技术方向就是边缘计算。边缘计算方面最新的一项学术前沿成果是前不久王苏推过的EdgeBERT,不过,本文不过多关注该技术的理论进展,而是谈谈大部分工程师/AI爱好者更关心的应用问题。
让边缘计算落地!![](https://i-blog.csdnimg.cn/blog_migrate/0128a82256139a06bc62b40216e1e5ce.png)
边缘计算是个比较新的研究课题,如果是本着自己DIY一些边缘计算应用的想法,哪怕是行内人员也会被一堆模型+工程问题折腾的够呛。具体来说有包括但不限于以下麻烦:
端设备的硬件/芯片种类繁多,操作系统版本多样,自行适配不仅成本高,且往往难以发挥芯片最佳性能
自行将大模型压缩成支持端设备的“微模型”会面临非常严苛的算法挑战,精度与速度/资源消耗难以两全
端设备部署流程复杂,工程量大
不过幸运的是,得益于对AI to B的深刻理解,百度飞桨前瞻性的打造了一个工业级的边缘计算框架——EasyEdge,全称是“端与边缘AI服务平台”。
EasyEdge是基于百度飞桨轻量化推理框架Paddle Lite研发的端与边缘AI服务平台,能够帮助深度学习开发者将自建模型快速部署到设备端。只需上传模型,最快2分种即可获得适配终端硬件/芯片的模型。
先吹一波这个框架的NB之处。
首先,EasyEdge不仅支持上传本地经Pytorch、Tensorflow、PaddlePaddle等多种深度学习框架训练得到的多种网络结构的深度学习模型,而且还可以直接使用飞桨丰富的开源模型库和EasyDL/BML定制得到的模型。换句话说,无论是经典任务还是定制化任务,都能轻松支持!这些来源广泛的模型经过转换、面向设备的兼容和加速、封装,可以直接输出得到支持各类芯片的端/边缘计算服务。
此外,为了能实现多种神经网络在不同芯片的高效部署,EasyEdge后台提供了非常多的优化,如模型格式转换、图优化、芯片优化、模型低精度量化、模型裁剪和压缩等等。这些都是EasyEdge后台根据用户的选择自动帮用户完成的,开发者只需选择框架,上传自己的模型,选择需要适配的硬件,即可自动生成适配目标芯片的SDK和开发者套件。开发者套件的使用也十分简单便捷,无需关注深度学习、具体硬件等底层逻辑,只需关注输入图片和输出的识别结果即可。
比如,我们可以将一个训好的图像识别、物体检测模型丢进EasyEdge,转化成端模型SDK迁移到手机中,这样你就能轻松的在手机上打造依赖人脸识别、物体检测技术的相关APP啦!
![](https://i-blog.csdnimg.cn/blog_migrate/ae6cc40ca80dd422d818f891b96b197c.png)
再比如,我们将EasyEdge生成的SDK丢进监控设备,就可以轻松实现实时生产环境安全监控、交通巡检等应用了。
![](https://i-blog.csdnimg.cn/blog_migrate/d517f5a48629d18a26b098a111f9ffad.png)
总之,EasyEdge是打开万物联网智能化世界的一把钥匙,更是有想法、有创意的AI应用开发者/从业者的落地神器。想法有多疯狂,EasyEdge的“出货”速度就能让你多惊喜!
EasyEdge怎么玩?![](https://i-blog.csdnimg.cn/blog_migrate/7c2cc2759c85fba630c485af7068da60.png)
下面讲讲怎样用EasyEdge神器框架实现零代码生成高性能端/边缘计算模型,进而打造一个边缘计算应用。
EasyEdge不需要开发者具备深厚的代码能力,仅需3步即可获取端计算模型SDK:
上传本地模型/使用飞桨开源模型
选择本地的硬件/芯片与操作平台,生成适配的模型
获取适配的离线模型部署包SDK,可下载DemoApp体验
在EasyEdge模型中心可以查看、管理本地上传的所有模型,以及平台内置的丰富模型
![](https://i-blog.csdnimg.cn/blog_migrate/5641c51b45f217d31f7fcc7a3b3e6c55.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8958f01105b7e8bbe78852d7a2a2944e.png)
比如我们点击上传本地模型,如图所示,按照页面指引,即可快速上传模型:
![](https://i-blog.csdnimg.cn/blog_migrate/de218d8b1e66d48df7c0cefef378f5f5.png)
而后,在离线计算SDK页面,点击「发布离线SDK」:
![](https://i-blog.csdnimg.cn/blog_migrate/2a98ef8640c2a90df0d7c2dd78cec0f9.png)
在发布页面,依次:
选择模型中心的模型
选择并添加“芯片/硬件”、“操作系统”的组合(支持添加多种组合)
如需SDK支持离在线混合,需勾选同意EasyEdge在云端加密部署模型
提交发布
![](https://i-blog.csdnimg.cn/blog_migrate/77082f6501e4fcafdb93ae1786b35830.png)
SDK发布成功后,即可在离线计算SDK页面下载SDK或下载Demo APP体验:
![](https://i-blog.csdnimg.cn/blog_migrate/45bad1b22f2cacf70539f3566c9b6283.png)
这里官方还贴心的给出了百度超轻量级中文OCR模型的Demo APP体验案例,感兴趣的小伙伴可以试试将一个OCR模型变成安卓/IOS APP部署到自己的手机里试试哦。
传送门:
https://ai.baidu.com/ai-doc/EASYEDGE/5kiiisurq
效果图:
好了,从此开发安卓/IOS乃至linux、windows应用也能轻松接入AI技术啦,快去试试这个落地神器叭!
寻求报道、约稿、文案投放:
添加微信xixiaoyao-1,备注“商务合作”
后台回复关键词【入群】
加入卖萌屋NLP/IR/Rec与求职讨论群
后台回复关键词【顶会】
获取ACL、CIKM等各大顶会论文集!
![]()