AI用于5G的思考

作者:黄华

说明:本文原发表在华为内部技术网站,已经被公司技术公众号《人工智能园地》转发。现去除敏感信息后,归档到个人公众号。

640?wx_fmt=jpeg

刚参加完《无线大数据研讨会》,这个会议是由中科大朱近康老师组织的。朱老师德高望重,大会大佬云集。这已经是第四届了,大数据和AI在5G中的应用,每年都在快速进步。这四年里,我们亲眼看着一个新技术诞生,长大,甚至可能颠覆整个产业。

第一篇

无线AI进展篇

1、学术圈进展

无线AI越来越火了,如果前两年还是一个概念的话,今年在学术圈已是火烧连营之势。上个月我做了一个统计,Deeplearning最近2年仅仅在IEEE Xplore的论文数量突破9000篇,其中期刊杂志1565篇,Early Access论文数量512篇,覆盖了整个无线技术领域。

这次会议上又遇到东南的金石老师,作为国内比较早参与无线AI探索的教授,一不小心就走到了风口浪尖,成了网红。这也说明敢于探索的教授是能够得到好的回报的,功不唐捐。

 

北大的宋令阳教授告诉我,他的学生都很想做AI,压也压不住。从其他教授的反馈来看,通信专业的学生期望从事无线AI的研究已经是很普遍现象了。最近面试的通信学生里面50%号称是做无线AI。在AI的大浪潮中,你想独善其身也很困难。

 

另外一个很重要的一个信号是,西交大的徐宗本院士也参与到无线AI的研究中来了,他近期在《国家科学评论》上发表“Modeldriven deep learning”的观点文章,尝试给人工神经网络拓扑与性能的对应关系找到理论基础,他的核心观点是“数据不够模型上,模型不精数据补。优先搞模型”。他对AI在无线中的应用充满信心,并且带领团队重点投入进来了。

640?wx_fmt=jpeg

640?wx_fmt=jpeg

模型驱动的深度学习方法

 

近期还有一个非常重要的信息,东南大学的尤肖虎老师发布了一篇AI在5G应用的综述论文,这是一篇重量级文章。你留心文章署名,会发现邬贺铨院士也是同署的,这就是代表国内学术圈吹响了无线AI创新的号角了。

640?wx_fmt=jpeg

再结合北邮张平教授、清华王京教授、浙大张朝阳和国内其他资深教授的态度,以及美国伯克利的David Tse、UT Austin的Robert heath等教授的进展来看,无线通信学术圈的大教授们都相继启动了无线AI的创新研究。

 

甚至有些教授开始了更革命性的无线AI研究,通过E2E的神经网络从结构上来替换目前现在的无线通信系统,这就是所谓的Auto-encoder应用于无线系统,据说有教授做出了简单的原型。

 

无线AI的应用,尤其在RTT/RRM层的应用效果和范围还存在比较多争议和质疑,但无线AI作为一个重要学术探索方向在学术圈里面已经不存在疑问。整个产业的创新力量和资金已经逐步投入进来了

 

2、标准及国际组织

无线AI比我想象更快的速度走入标准组织,比如ETSI、ITU、CCSA和3GPP都在开展相关的工作。尤其在3GPP中,无线大数据及ML的应用产生了实质的进展,对未来的5G建设会产生重要影响。

同时,在CCSA内开始了无线网络智能分级的研究,这个工作意义非常重要,是统一行业共识,统一语言和语境,加速无线AI产业化的关键举措。这一块我后面会专门用一定的篇幅去阐述。 

640?wx_fmt=jpeg

另外,我们跟CMCC的易芝玲老师和中国科技大学的朱近康老师联合推动发起的无线智能产学联盟(WAIA)运作也快一年了。这个联盟原本是基于国家无线大数据专项成员单位,依托国内无线Future Forum和WWRF(世界无线研究论坛)发起的,一个以中国“最大的运营商+最大的设备商+最大的OTT”为发起方的无线智能技术研究联盟。我们希望能够依托这个产学联盟孵化出大的创新,这一年里,WAIA发布了白皮书,联合做了样机展示,引入了新的合作伙伴,现在进入更深入、更实质的合作。

 

这个产学联盟间接加速了3GPP 无线AI标准化进度,以及后面的ORAN联盟的构建。最近有很多公司和高校申请加入联盟,联盟的运作也越来越正式了,将来WAIA可能会发挥越来越重要的作用。 

640?wx_fmt=jpeg

2018年中国移动将WAIA的重要研究成果直接用到了ORAN架构里面去了,无线AI实际上成为ORAN架构的最关键要素。

 

ORAN里面的一些解决方案过于理想化,我将它称为“无线架构的共产主义”,不认为它们会那么快的商业成熟。但是,我认为其中的无线AI这块是值得华为跟运营商共同去探讨,共同去开展研究的。

说明:华为并没有加入ORAN。目前WAIA和ORAN是两个不同的组织,没有归属关系。但WAIA的研究成果被ITU、3GPP、ORAN等组织引用。

整个无线AI的发展看起来一切都在向最好的方向发展,前途很顺畅。然而,上个月我遇到最早参与无线AI研究的北邮信道专家张建华教授,她说:“我在无线AI研究上遇到瓶颈了,最近有点浮躁,我准备沉下心来好好修炼一阵了。”  

640?wx_fmt=jpeg

一个新技术的产生,基本上会严格按技术炒作生命周期曲线进行,无线AI目前处于爬坡期,正逼近炒作曲线的顶部,很可能很快进入幻灭期。

随着研究的深入,了解得越多,对技术的敬畏越深,有些技术发展中的沟沟壑壑是无法避开的,无线AI面临很多挑战。我自己对无线AI短期内规模应用的态度也由激进走向相对保守。

第二篇

无线AI挑战篇

AI在无线网络中的应用落地,看到机会的同时,更多的是面临很多挑战,只有清晰认识这些挑战,并探索性找到解决办法,无线AI才能一步步成长壮大。

1、边界和范围不清晰

AI技术是否适配无线通信所有的地方呢?有什么原则?这次无线大数据华为闭门研讨会上,这个问题被广泛讨论。教授们主要的意见如下:

 

  1. 人工智能的增益主要来源于大数据,有大数据才有增益。部分通信领域采用人工智能代价太高,同时不可解释性,不一定适用人工智能,要界定清楚。要区分哪些场景适合用AI解决,哪些不合适。

  2. 信息论发展到现在,经过几十年科学家的努力,很多通信问题有了最优解,而且算法并不复杂的,这种场景下不一定用AI。

  3. 目前无线AI只有A没有I。只是基于大数据的拟合,泛化效果比较差。应付异常和随机性不好。而无线空口却存在大量的随机问题。如何在机理上要形成突破,比如自动发现新的维度,解决随机性问题等。

  4. 无线AI不只是DL,其实传统AI算法是能够解释的,而DL的泛化能力比较强。所以无线系统中,可以采用“传统AI算法+DL”,这样就可以比较好解决可解释问题,以及泛化问题。

 

上面讨论的问题确实经典的AI适用范围的讨论,比如 3*7=21 这种确定性的计算,数学非常简单,如果采用NN来做,很可能结果是 21.001,不一定有优势。

 

关于AI在无线的适用范围。在应用层、管理面、控制面的应用,已经不存在太多的争议,只是收益和代价的权衡,以及平台能力、产品架构和网络架构是否能够很好支撑AI应用的问题。在用户面上,尤其是无线的RTT传输上的AI应用还存在比较多的争议,或者存在较大挑战,而这一块却又是目前学术研究最关注的领域,有大量的研究在开展。

 

个人认为:无线AI应用作为新的技术和新事物,在目前这个阶段定义边界和范围其实不是特别必要,也不成熟。暂时不说“No”,可以通过跟学术界2-3年的研究后再逐渐形成行业共识,没有必要匆匆下结论

 

2、数据挑战

 

数据的挑战一直是人工智能的关键挑战,涉及的环节很多,包括数据获取、数据处理、数据安全、数据归属问题等。

 

2.1 数据获取挑战

 

在这次闭门会议上,教授抱怨最多的就是数据获取困难,求助华为和中国移动。中国移动表明数据获取的成本很高,而且因为数据隐私和安全问题,数据开放也很困难。

2.2 数据处理挑战 

无线的基站会产生大量的数据,甚至每个TTI都会有海量的数据产生。而且在无线环境下因为有时域、码域、空域、频域及功率控制、信道衰弱、干扰等因素,使得无线空口的数据维度特别多,数据特别复杂,初步估计就有40多个维度,这么复杂的数据,各种维度相互影响和耦合使得数据处理的本身就是一个非常大的挑战,如何构建结构化的数据,如何进行数据工程化,比如数据归一、清洗、保存和上传,如何标签自动化等。

另外,数据也不是越多越好。在海量的数据里面如何找到高价值的数据,比如异常数据,也是非常大的挑战。

2.3 数据安全和隐私挑战

 

AI的基础就是大数据,但在当今的政策和经济环境下,数据安全和隐私问题越来越突出。尤其是欧盟的GDPR(一般数据保护条例)已经于2018年5月25日生效。近期曝出Facebook将因为数据泄露丑闻面临天量罚款的新闻,更使得数据应用厂家噤若寒蝉,很多应用都关闭了在欧盟范围内的使用。GDPR实际上只是一个开始,它代表了整个社会对信息和数据滥用的反思和焦虑,它必然会影响其他国家和地区关于数据安全和隐私的政策和法规。甚至可能成为反全球化运动的一个重要组成因素。 

640?wx_fmt=jpeg

无线AI应用,都依赖收集大量的数据。如果数据安全和隐私这么敏感,那么要上报多少数据,怎么上报数据,什么途径上报数据?怎么证明你的数据是安全的?数据是不是上报的越多越好?数据如何脱敏,这些都是非常突出的问题了。

 

数据安全和隐私的策略是决定无线AI应用的根本,这点不解决好,无线AI技术的应用范围就会非常局限,很多AI解决方案构想都会是浮在沙地上的城堡。

 

2.4 数据产权归属问题

 

还有一个关键问题是数据资产归属问题。无线网络里面产生的数据是归属运营商还是设备商?如果有边界,那么哪些数据归属运营商,哪些数据归属设备商?

 

波音公司拥有波音飞机的数据,并且提供昂贵的数据服务。丰田汽车也收集丰田汽车的数据,并给客户更好的服务。西门子、博世等公司也都一样,在提供硬件设备的同时,也收集自己生产的硬件设备的数据。那么通信设备商是否也能够采用这种商业模式呢? 这样设备商就能够真正做到跨运营商提供更好的数据服务。

 

当然不寻求拥有数据,通过数据训练出模型也可以支撑起很多AI应用,但终究是有些局限性了。谷歌等公司为了解决数据隐私和安全问题,现在已经趋于在端侧只上传模型,不上传数据了。

 

数据资产归属问题现在还是一个模糊地带,可能涉及法律法规、标准化等问题,如何明确,在哪里解决,暂时是不清晰的。

 

3、无线AI单点突破到系统创新的挑战

 

我前面提及我对无线AI的快速规模商用的态度从激进转向了保守,最核心的问题就是无线AI是一个系统解决方案,不是一个单点技术突破问题。尤其是需要整个无线系统产生比较大的革命和变化,才能够更好应用无线AI的技术。这一点其实最要命的。

 

我们实际上已经在很多单点领域找到了无线AI算法的价值,而且这种单点突破会越来越多,但如果想快速的让基站这个铁疙瘩上产生智能,其实还是非常有挑战的。

 

现在大家都明白了,是因为数据、算力和算法的共同突破才使得AI应用在某些领域产生突破。但正是因为有Caffe、Tensorflow等这些AI平台出现后,降低了AI创新的成本,加速了AI创新,才最终导致了AI的应用百花齐放。

 

前面在描述数据挑战的时候我已经强调了,按现在人工收集数据的模式是不可行的,成本太高,效率太低。而采用传统的技术去部署AI算法也是不可行。谷歌最近在推的AutoML技术可能最适合在无线系统中应用。

 

同时,在描述数据安全和隐私,以及模型泛化的时候,我也提及了大量的数据可能并不能上到云端,尤其是非高价值数据不用上云端。同时为了解决数据异常和数据随机性问题,就需要有足够场景的数据,这样模型的联合学习和模型迁移问题就是非常关键了,这些都需要有特殊的架构支持。

 

为了支撑好无线AI,产品要进行架构和平台的彻底改变,甚至还要设计专用芯片,伤筋动骨,代价非常高。无线AI短期内是否有足够的价值和商业模式支撑这么大的改变是非常具有挑战的。很可能陷入鸡生蛋、蛋生鸡的问题

 

AI应用的规律,先有平台和架构,才能自动化的获得大量的数据,自动化的部署算法,在上面才能快速长出更多的应用。

640?wx_fmt=jpeg

系统级的创新和革命很难,有些公司要举公司之力去推AI First就是这个原因

 

 4、AI算法挑战

 

前段时间遇到浙大的张朝阳教授,他告诉我现在流行的DL(DeepLearning,以下同)模型结构不太适合通信系统,在这次会议上遇到金石教授,他也给了同样的观点。我们发现Tensorflow内置的算法有11类,几百种算子,但没有为无线设计的。DL这些年是随着图像识别、自然语言处理等发展起来的,但应用于无线系统的历史很短,还存在很多不确定性,也没有积累。

 

其实大家比较津津乐道的几十、上百层的DL算法应用暂时在无线系统里面很少看到。我们目前常用的NN(Neutral Network,神经网络)层次最多也就看到5-6层。实际在目前的无线系统里面用的比较多的反而是强化学习、随机森林、SVM等ML算法,或者深度强化学习。

 

无线的场景非常多,加上空中传播信道的各种随机性和多变性,比如一阵雨,或者一辆车开过,就会导致信道环境发生很大的变化,很难收敛出规律来,这一点是让很多人感觉悲观的。同时,无线AI是无线理论+ML的结合,这是两门不同的学科。有些场景下采用ML不产生作用、无法收敛、或者效果比较差的时候,你很难界定是ML不适用,还只是因为ML模型结构不对。尤其是我们团队经过去年在无线软件大赛下,通过DL模型的几次优化,最终用一个神经网络从无法收敛规则到最终战胜了人类、且战胜了大部分其它对手,成为大会的第2名(小分落后)。我们深刻理解了DL模型本身就是一个很深的学问,有很多可挖的空间。

 

适合无线的AI算法体系是什么样的?有哪些方向需要不断积累和发展呢?其实还不完全清晰,现在只是才起步,要长期探索适合无线的AI算法。

  

5、新知识体系的挑战

 

无线AI是一个工业界和学术界齐步走的技术,学术界的兴起主要从2017年开始的,所以学术界并不能给工业界太多的指导和帮助。将AI技术应用到无线通信系统中对传统基于香农定理理论基础发展起来的通信体系在知识体系上是一个非常大的冲击,在人才、技术、理论,甚至心理上都还没有做好准备。

 

我自己在2015年接触到DL的时候,对数据建模就非常不理解,反复询问其中的逻辑关系是什么,公式是什么?如何解释。后面才明白NN类似一个模拟计算,对于每一个选择可能没有那么精确的解释。花了大量的时间学习Alpha go的原理,自己尝试做了几个演练,才对DL的原理有所了解。后面又花了一些时间了解强化学习的原理,同时还花时间上了吴恩达的网课。从接触到初步明白ML原理花了不少时间,现在也只能说很初步的了解,关键还是观念的变化。主要是自己脑子里原来的技术体系太牢固了,非常强的逻辑推理习惯,很难接受一种全新的数据建模的技术体系。坦率的说,我对ML算法的理解深度可能还赶不上一些刚毕业的AI背景的博士。

 

香农定理和机器学习是完全不同的两个科学分支,前者是基于牛顿建立最小相关性假设集合,然后以推理演绎构建理论体系。归纳出模型,然后不断演进。牛顿体系是feature function的关键因素抽取极为明确下的准确推理。后者经验主义分支,甚至可以认为是基于数据的暴力计算。下面这个图表罗列其中的差异。

640?wx_fmt=jpeg

当全员都在讨论AI的时候,最害怕的是具有决策地位的专家和主管其实并不太懂AI,或者并不了解数据建模的原理和真实体验。如同盲人摸象,只摸到一条腿就可能认为就是整个世界了

第三篇

无线AI期望篇

1、无线AI应用的展望

640?wx_fmt=jpeg

未来社会将走向“云智数联”时代,万物感知、万物互联、万物智能,信息快速传播,进入数据经济时代。任总说:“未来二三十年人类社会会演变成为智能社会,其广度、深度我们现在还难以想象。”在新的历史时期下,全球的网络平台将会走向ABCC架构,其中的Connection就是支持万物互联的5G。

ABCC=AI +Big Data+Cloud Computing + Connection

无线网络的变迁,如果从大的业务变迁来看,无线网络其实可以重新划分为四个阶段。5G阶段将会进入智能网络时代(IDN: intelligent defined Network )。

640?wx_fmt=jpeg

所以我判断,未来的5G+/或者6G将会在原来的维度上,增加第四维,也就是AI/大数据。2017年7月1日在上海交大的移动3C研讨中,大教授北邮张平教授和清华的牛志升教授也都提到了将AI/大数据作为5G的第四维的概念,他们各自用了几十页胶片来论证这个观点。

无线通信中,单链路的物理层性能已经逼近了香农极限,所以学术界在2010年左右有一个“is the PHY layer dead"的讨论。但大家都知道,在复杂环境下,无线的“网络容量”离开理论极限还很远,存在很大的提升空间。学术界、工业界多年的努力,给出了很多的解决方法,比如IA,ICIC,CoMP, MIMO...等,但依然无法很好的实现逼近理想限的问题。根本原因是在时变、复杂的无线环境下很难进行准确建模,面向十几个或者更多的维度,传统的简化建模很难适应实际环境(实验室里面可能有好结果),而且模型的普适应也很差。所以,基于数据建模的ML算法可能在这种环境下有帮助,而且能够利用增强学习去匹配环境和自适应的提升。

640?wx_fmt=jpeg

从目前的学术界和工业界的进展来看,无线AI在长周期环境下的应用已经不存在分歧,相对比较清晰。但对于低时延、短周期的应用上还存在较大的挑战,有较大的不确定性。尤其是物理层传输(RTT)上的应用是目前学术界努力的关键方向,短期内还没有产生实质性的突破。一旦突破,很可能是革命性的。

640?wx_fmt=jpeg

2、智能分级去构建产业商业模式和生态

 

在我们探讨AI应用的时候,我们经常会面临一个尴尬的局面,无线AI可能在很多单点上形成了突破和优势,但缺乏一个清晰的商业模式和行业里面的统一的语言。单点的技术突破很难形成具有颠覆意义的整体解决方案,也很难给客户推广。其实这一点已经有解决方法。就是参考自动驾驶分级机制制定无线智能分级。如果问你自动驾驶L3具体做了什么,估计你也不一定清楚,但大致内涵你是了解的。整个行业和社会在自动驾驶上形成了统一定义和标准,成为技术、商业的统一衡量标准。在推动下,目前国家层面也开始了无线智能分级的标准化制定和研讨。

640?wx_fmt=jpeg

 

关于未来的无线智能网络,我个人有这么个梦想:构建这样一个网络,就像一台大型的机器,他仿佛是有生命的,在各种复杂的环境下,随着环境变化呼吸着,资源流动着,基站的天线摇头晃脑着。他知道这个网络所有状况,也能够预测到网络即将发生的一切变化,包括可能发生的故障,甚至是环境的变化,及时的做好调整,并不断进化,最大效率的做好信息传输和服务。而且不再需要什么管理人员。

 

3、建议

 

关于无线AI,当前行业里面可能会存在两个误区,第一个误区是:无线AI已经比较成熟了,概念说过两年了,现在应该是产品开发为主的工作,尽快的推动这个技术大规模商用。第二个误区是:无线AI就是中医,忽悠人的事情,没有啥用,如果一定要用,相关的Case一定要证明要比现有技术有优势才能有用。

 

对于第一个误区,看完整篇就应该明白了,这个技术学术界也才从2017年起步,还有大量的技术挑战和产业挑战存在,如果说技术已经非常成熟了,我相信没有人会信的。对于第二个误区,我就希望相关专家和领导多一些耐心,不要太着急下结论,AI在图像识别和自然语言处理中的成熟也花了很多时间。早年的DL应用也是比不过人眼的,难道能够证明DL不行吗? 在这一点上,业界里做无线 AI兄弟很有压力,一个小树苗,面临着跟参天大树和集团军做对比,内心很受挫折。

 

无线AI还是一个小树苗,可能阶段会有商业价值的产出,但不可能马上吃出一个大胖子。可以从一个个Case入手,稳步前行。需要组织的呵护,长路漫漫,任重道远。未来的2-3年肯定会经历技术幻灭最黑暗时段的考验,请大家理解,提前做好心理准备

  

相关文章

1:

2:

3:

4:

5:

6:最黑暗的时候,你再坚持一会

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值