北京航空航天大学教授黎立：端侧大模型很可能成为下一个赛点｜数据猿专访...

大数据产业创新服务媒体

——聚焦数据 · 改变商业

---

2023年，ChatGPT的横空出世引爆了整个科技圈。随之而来的是大模型的遍地开花、百家争鸣。那么下一个掀起巨浪的又会是谁？端侧大模型是否具有撼动科技圈的潜质？

作为AI领域的一颗新星，端侧大模型正逐渐在智能手机、智能汽车、智能音箱、移动基站等多种设备上崭露头角。然而，端侧大模型的发展并非一路坦途，硬件资源限制、数据隐私保护、模型压缩等多重挑战始终困扰着端侧大模型。那么，端侧大模型的前路在何方？端侧大模型是否能成为下一个引爆科技浪潮的爆点？带着这些问题与思考，数据猿与北京航空航天大学教授黎立进行了一次深入的探讨与交流。

不知不觉间端侧大模型崛起了

或许是从特斯拉问世开始，车内空间悄悄变了。屏幕越做越大、汽车越做越智能、智能驾驶技术越来越丰富……智能汽车的概念快速占领了广大用户的心智，成为购车的决定性因素之一。但是今天我们要说的主题显然不是智能汽车，而是端侧大模型。

在人工智能技术的飞速发展下，端侧大模型正逐渐成为智能设备的核心驱动力。端侧大模型不仅在智能汽车、智能音箱、移动基站等领域得到应用尝试，更在智能家居、可穿戴设备等新兴领域展现出巨大的潜力。端侧大模型的崛起，标志着人工智能技术正从云端走向边缘，从集中式处理走向分布式智能。那么，端侧大模型为何突然之间就成了香饽饽？这还得从端侧的应用需求和场景来倒推。

首先，智能汽车太需要端侧大模型了。据市场研究公司ABI Research的报告，预计到2025年，全球将有超过1.5亿辆联网汽车，这些车辆都将广泛采用端侧大模型来提升自动驾驶和车联网服务的性能。

黎立教授表示，在智能汽车领域，端侧大模型的应用尤为引人注目。比如早期的时候，有很多图像识别的模型，汽车通过摄像头能观察到周围的环境，从而用一些AI的模型去识别车道如何变化，以及是否有障碍物等，然后通过集成AI形成智能驾驶应用。其实这里面有一个更有意思的概念，也就是特斯拉提出的端到端的AI模型。意思就是说，只要提供一个输入，AI就把所有东西做完了，下一步就直接开车就好了。AI会内生考虑所有的突发情况，包括之前可能没有接触到甚至没有定义到的一些情况。

从这个角度来说，大模型在智能驾驶这个场景下已经有了很好的应用落地。在特斯拉最新的演示中，大模型的应用还在不断优化，包括百度的萝卜快跑，以及华为最新车型等，在智能化方面的步伐都推进得非常快。

除了智能汽车，手机也是端侧的明珠。目前，已经有很多手机厂商已经应用了大模型，比如OPPO、奥运AI手机、苹果等等。

然而，端侧大模型在智能汽车中的应用也面临着一系列挑战。首先，车辆的硬件资源有限，如何在保证模型性能的同时，减少对内存和处理能力的占用，是一个亟待解决的问题。其次，自动驾驶对实时性的要求极高，模型的推理速度必须足够快，才能及时响应各种突发情况。此外，端侧大模型在手机端如何降低能源的消耗、提升性能、强化交互体验也是终端厂商不能不面对的难题。

显然，端侧大模型在落地应用在各个不同场景中所以面临的困难和要解决的难题依然很多，然而除了智能汽车和手机还有更多应用场景等待端侧大模型发挥能量，但谁又能说这些困难未尝不是未来的机遇与新起点呢？

端云之间并非对抗而是协同

在人工智能的广泛应用中，端云协同已成为提升智能系统性能的关键策略。黎立教授也阐述了自己的观点：“其实我们现在讲端侧大模型，并不是说要用端侧大模型来替代云上的模型，更多的是我们端上要有模型，云上还有一个更大、更强的模型，来实现端云协同。举个例子，比如说某个场景下没办法联网，这个时候要提供智能功能，就必须在本地完成了。”

根据IDC的报告显示，到2025年，全球数据总量将达到175ZB，其中超过25%的数据将需要在边缘进行处理。这表明端云协同的需求正在迅速增长，并且对于处理和分析大量数据至关重要。

端云协同模式通过在端侧设备上处理部分数据，减轻了云端服务器的负担，同时利用云端的强大计算能力端侧可以处理更复杂的任务。例如，在自动驾驶领域，车辆的传感器实时收集路况信息，并在本地进行初步处理，以实现快速反应，而复杂的路径规划和数据分析则交由云端处理。这种分工合作模式，不仅提高了系统的响应速度，也优化了资源的使用效率。

还有一点至关重要那就是安全。黎立教授表示，安全隐私是另一个重要的考虑。现实生活中，有很多数据是只存在于手机中无法出去的，比如说要拍张照片、修一张图，可能照片不太好需要优化，这个过程会用到很多AI的模型。但如果现在换个方式，把照片发到网上，修完再收回来，可能就会给用户带来很大的安全隐私的对抗性。

再举个例子，比如现在有个视频会议需要自动化生成摘要信息。假如开了一个小时的会，有好几个G的视频文件，如果把这几个G的视频文件上传到云上，分析完了再回来，可能就产生了大量的延时消耗。所以长远来讲，端上模型和云上模型是一个协同的过程。

在实际应用中，端云协同模式已经被许多行业采纳。例如，亚马逊的AWS Greengrass服务允许在本地设备上运行机器学习模型，同时与AWS云服务无缝集成，为智能家居设备提供智能决策支持。另一个例子是微软的Azure IoT Edge，它将云分析扩展到边缘设备，使得工业设备能够实时处理数据并做出决策，显著提高了生产效率和安全性。

尽管端云协同带来了显著的优势，但在实施过程中仍然面临一定的挑战。黎立教授进一步解释道：“在整个端侧可能会有非常多的细分场景，是我们在云上的模式里没有遇到过的，这种场景可能就需要一些特定的数据去做训练。针对这种特定的训练，首先我们需要单独准备数据。其次，出于安全性的考虑，可能还需要通过检索增强等IT方式把数据及时放在端上，使整个模型应用的流程用起来，从而提升整体的智能体验。除此之外，数据同步、延迟、安全性和成本等等也都是需要考虑的因素。”

但随着技术的不断进步和应用场景的不断拓展，我们始终相信端云协同将在未来的技术发展中扮演更加重要的角色。

端侧大模型的未来之路在脚下还是在远方？

有人说，端侧大模型既有计算瓶颈又有安全障碍，不如云端大模型好用。那么端侧大模型的发展是否能为行业带来新兴的繁荣，端侧大模型如何突破瓶颈继续向阳生长？带着这些问题与思考，我们与黎立教授进行了更深一步的探讨。

首先，端侧大模型到底能不能为行业带来新兴的繁荣？答案是有潜能。在不远的将来，端侧大模型很有可能会成为终端设备的新赛点。端侧大模型作为人工智能领域的前沿技术，其发展和应用前景备受瞩目。随着技术的不断进步，端侧大模型正面临着从理论到实践的应用跨越，其未来的发展之路充满了挑战与机遇。

其次，端侧大模型想要做深做实要突破哪些瓶颈障碍？在端侧设备上部署大模型，首先需要解决的是模型的极限压缩问题。由于端侧设备的计算资源和存储空间有限，传统的大型模型难以直接应用。因此，探索模型压缩技术，如模型量化、知识蒸馏、模型剪枝和结构化剪枝等，以减小模型的体积，降低其对计算资源的需求便成了一道重要课题。

除此之外，端侧大模型的未来发展还需要在功能和性能上进行不断地创新和拓展。跨模态融合、实时性优化、自适应学习等技术都是端侧大模型发展的有力抓手。当然，安全性和隐私性也是不能忽视的重要条件。

不过，端侧大模型的发展不仅依赖于技术的进步，还需要产学研合作和人才储备的支持。黎立教授坦言：“从学术的角度，我们看到大模型本身的发展还有很多技术的挑战需要去解决，需要更深的探索。这个时候尤其需要产学研协同扎根深挖，真正地去研究透。”

通过企业、高校和研究机构的紧密合作，可以共同推动端侧大模型的理论研究和应用实践。同时，加强相关领域的教育和培训，培养具备端侧大模型研发和应用能力的人才，对于推动该领域的长远发展至关重要。政府的政策支持，如提供资金支持、税收优惠等措施，也能鼓励企业和研究机构投入端侧大模型的研发，加速技术的成熟和应用。

正如比尔·盖茨所说：“我们总是高估未来两年会发生的变化，却低估未来十年会发生的变化。”端侧大模型的潜力，可能远超我们此刻的想象，未来让我们拭目以待。

文：晴天 / 数据猿
责编：凝视深空 / 数据猿