1. 边缘计算发展态势
边缘计算相比于集中式云计算,更靠近用户业务数据源头侧,在低时延、低带宽成本、弹性敏捷部署等方面更加贴合业务场景需求,因此,在近年来备受产业界关注。全球范围内,边缘计算相关推进战略政策不断出台,牵引边缘产业广泛扩张,同时,边缘侧市场需求层出不穷,推动行业应用在边缘稳步实践,政策牵引和市场驱动双重作用下,边缘计算产业连续多年呈现扩张态势。
1.1 政策牵引
全球主要发达国家布局边缘计算战略体系。2024 年 2 月,美国发布新一版《关键和新兴技术清单》,清单可以为美国政府和联邦机构指示有助于提升美国技术竞争力和国家安全的具体领域,2024 版清单中,先进计算领域包含了边缘计算与设备技术,指示边缘计算已成为重要技术方向并将获得更高优先级的发展顺序。2023年 3 月,欧盟委员会通过《2023-2024 年数字欧洲工作计划》,以阐述未来几年关键信息技术的重点政策,其中提到将继续开展端到云服务方面的研究及相关基础设施建设,并以端到云服务及相关基础设施建设为基础,扩大其适用范围,从各个方面投入资源引导云边端建设和应用。
国内政策高密度出台牵引边缘计算深化应用。2023 年 12 月,发改委等六部门印发《深入实施“东数西算”工程 加快构建全国一体化算力网的实施意见》,政策支持探索开展城市算力网建设,实现国家枢纽节点算力资源与城市算力需求高效供需匹配”,为边缘算力建设提出计划指导。2023 年 10 月,工信部等六部门联合发布《算力基础设施高质量发展行动计划》,提出要加快边缘算力建设,支撑工业制造、金融交易、智能电网、云游戏等低时延业务应用,引导边缘计算与行业场景深度融合发展。
1.2 市场驱动
随着企业 IT 建设逐渐完善和数字化转型逐渐加速深化,越来越多的场景化算力需求持续提出,传统集中式的数据中心难以满足特定行业和场景需求。边缘计算和云边协同将集中式算力资源下沉到边缘场景,解决了集中式云和数据中心在网络、数据传输、算力供给、设备运维方面的瓶颈问题,因此在众多行业中广泛应用。
边缘计算市场连续多年保持增长态势。以中国市场为例,根据 IDC 最新发布的《中国半年度边缘计算市场 (2023全年 ) 跟踪》报告数据,2023 年中国边缘计算服务器市场继续保持稳步上升,同比增长 29.1%。IDC 认为,边缘计算技术在公共事业的智能化改造过程中正在发挥关键作用,边缘计算不断“下沉”也进一步促进边缘服务器的技术迭代和稳步发展。
中国边缘计算服务器市场规模及预测,2023-2028
2. 边缘计算应用现状与挑战
2.1 边缘计算应用现状
随着物联网、AI、5G 等技术的快速发展和规模化应用,边端侧的连接和数据正在呈指数级增长,数据类型、数据生产和消费速度都在持续增加,因此各类场景对于计算服务的低时延、低成本要求逐渐提升。
边缘计算能够在一定程度上解决集中式数据中心的响应时间长、带宽成本高等问题,一方面,作为集中式算力供给的延伸在云系统中协同运作,实现云边协同从而为企业带来创新价值;另一方面,边缘计算能够独立于云计算开辟出边缘原生的使用方式,尤其是在制造、交通、能源等传统行业,边缘计算能够将计算能力扩展至离数据生产、处理最近的源头侧,有效提升系统运行效率,优化用户体验。根据中国信通院数据显示,边缘计算在工业、音视频、政务、云游戏、金融等行业广泛应用。
2.2 边缘计算面临挑战
将业务从集中式数据中心扩展到边缘侧直接处理,带来许多优势的同时也充满了独特的挑战,作为服务供应商需要直面以下挑战才能使得边缘场景下的业务部署和运行取得理想效果。
2.2.1 响应时延
边缘计算的真正价值在于其能够即时处理数据的能力,决策和行动需要在极短时间内执行。系统为了获得实时的洞察和决策,数据的获取、排序和处理速度必须超越传统场景。然而,当前数据从海量边缘设备汇聚和整合的过程往往耗时过长,且成本高昂,庞大的数据流直接传输至云或数据中心不仅会增加响应时间、引入不必要的延迟,还会减缓执行速度,从而对效率和生产力造成负面影响。因此,持续优化响应时延是边缘计算面临的一大挑战。
2.2.2 规模扩展
边缘节点位置分散,数量众多,数据交互数量随节点规模扩展而激增,边缘系统的数据同步成为一项紧迫任务。边缘相关的技术快速 发展,也将推动边缘节点更加靠近真正的终端用户侧 ( 数据产生的地方 ),随着规模增长和位置下沉,边缘计算系统的管理和使用面临巨大挑战。新的技术趋势和应用场景要求边缘系统具备更强的处理能力和更高的扩展性,但物理空间的局限性又为边缘设备的部署带来了一定的困难,例如,在诸如壁橱、户外箱体、交通工具以及其他空间受限的环境中安装集高性能和轻便型于一身的边缘设备,构建易于扩展且易于部署的边缘基础设施及系统显得至关重要。
2.2.3 数据安全
随着数据安全法规逐步完善和潜在的安全漏洞不断涌现,产生在边缘节点的数据在存储、访问和传输过程中,安全保护变得愈发重要,而许多边缘位置的安全防护措施不足,这使得边缘安全漏洞成为网络攻击中极具吸引力的目标。
同时,数据治理在企业防火墙之外也面临着诸多挑战,去中心化的数据中心和云环境,可能会引入数据治理难题。因此,为数据的收集、分析和处理提供安全的边缘环境成为一个必须执行的任务。
2.2.4 边缘管理
据最新调查显示,尽管大家都认可将边缘解决方案作为业务发展的重点,但很多公司又缺乏快速完善边缘部署及管理所需的专业 IT 人员及管理方法,运营技术(OT)与 IT 基础设施之间的鸿沟可能会妨碍边缘计算的成功应用。因此,IT 团队需要与 OT 领域紧密合作,实现云边协同,从而打造一致的 IT 管理环境。
3. 边缘计算技术演进
边缘计算技术的演进是一段跨越数十年的历史,其概念和技术主要在 21 世纪得到显著发展。
在 20 世纪 90 年代末,边缘计算的早期概念开始萌芽。
2000 年伊始内容分发网络(CDN)的兴起标志着边缘计算进入一个重要发展阶段。进一步推动边缘计算发展的是移动互联网的普及,随着智能手机和移动设备的广泛使用,在设备本地处理的数据量不断增加,从而减少了对集中式数据中心的依赖。
2010 年代,物联网(IoT)的蓬勃发展为边缘计算带来了新的增长点,IoT 设备产生的海量数据需要在网络边缘进行实时处理,使得边缘计算成为不可或缺的技术支撑。随后,云计算与边缘计算的结合,进一步促进了边缘计算技术的成熟。
5G 技术的推广在2010 年代末至 2020 年代初期为边缘计算带来了革命性的变革,其低延迟和高带宽的特性极大地增强了边缘计算处理实时数据和提供高带宽服务的能力。
当前,边缘计算的标准化和生态系统建设成为行业发展的重点,大约四分之一的企业将可持续发展和 ESG 指标跟踪作为边缘和物联网计划的一项驱动因素,边缘计算被看作是提高效率、优化流程的重要技术手段,因此,企业可持续发展和边缘的结合正在成为企业发展的重要议题。
4. 最新技术主张
伴随着技术的逐渐伴随着技术的逐渐成熟,边缘计算的发展理念也日渐明晰,即从数据产生的位置进行即时处理以获取更多的数据价值,不仅符合边缘计算的核心理念,而且与当前的技术发展趋势和应用场景相契合。
展开而言,目前边缘计算发展支持三大技术主张:利用 A1、简化边缘、保护边缘。成熟,边缘计算的发展理念也日渐明晰,即从数据产生的位置进行即时处理以获取更多的数据价值,不仅符合边缘计算的核心理念,而且与当前的技术发展趋势和应用场景相契合。
展开而言,目前边缘计算发展支持三大技术主张:利用 AI、简化边缘、保护边缘。
4.1 利用 AI:智能化的边缘分析与洞察
4.1.1 优化 AI 和分析
在边缘部署优化的 AI 算法和分析能力,使得数据处理更接近数据源,从而减少传输延迟,快速响应业务需求。这种优化策略能够即时捕获数据价值,为组织提供深度洞察和实时决策支持。
4.1.2 实时洞察力
边缘计算的低延迟特性允许在数据产生瞬间即刻处理,为业务提供即时的、有影响力的洞察。这对于需要快速决策的场景,如金融交易、在线游戏或紧急响应系统至关重要。
4.1.3 数据价值增值
企业在数据最新鲜时生成洞察,能够实现快速响应市场变化和客户需求,从而为组织带来增值。
4.1.4 智能分析和监控
AI 的智能分析和监控能力可以提高运营效率,例如通过监控 Wi-Fi 性能和用户参与度,企业能够实时优化服务和提升用户体验。
4.1.5 边缘 AI 硬件
边缘 AI 服务器是专为边缘 AI 设计的、能够提供必要的计算能力、支持复杂的 AI 计算和机器学习工作负载,确保高性能的数据处理的硬件设备。
4.1.6 多云和混合云环境中的 AI
在多云环境中,AI 有助于优化资源分配和成本管理,通过一致的运营增强数据的流动性和业务的灵活性。
4.1.7 AI 即服务(AIaaS)
通过 AI 即服务模式提供成熟的“一体化”边缘 AI 解决方案,使企业能够灵活地部署和管理 AI 能力,简化IT 基础设施的复杂性,加速洞察力的获取。
通过将人工智能技术融入边缘计算,实现数据处理的智能化和自动化。利用 A1算法提升边缘设备的决策能力确保实时分析和响应,同时强化了安全性和效率。该解决方案可穿透多云环境,通过现代化的 AI工厂解决方案为企业提供安全、高效的边缘计算环境。
4.2 简化边缘:现代化的边缘架构与运营
4.2.1 现代化边缘 AI 架构
企业通过采用现代化的边缘解决方案,能够以规模化的方式简化 AI 架构、工作负载和运营,实现更高效的资源管理和成本控制。
4.2.2 边缘扩展
依托边缘软件平台可以利用自动化、开放式设计、零信任安全原则和多云连接,帮助企业安全地扩展边缘,各行各业的企业可以便捷、安全地支持任何边缘应用场景。
4.2.3 灵活性和选择自由
企业可以在边缘自由选择技术解决方案,不再受限于特定供应商的生态系统或技术历史包袱,增加了 IT 战略的灵活性和适应性。
4.3.4 提高效率和生产力
通过现代化的边缘 AI 架构和运营,企业能够更深入地洞察数据,提高市场竞争力,同时减少维修停机时间,提高整体的效率和生产力。
利用边缘软件平台,提供自动化、安全扩展和多云支持,能够简化边缘架构和软硬件使用方式,使企业降低管理资源和成本。运用开放的边缘技术选择和灵活的 IT 战略,结合深入的数据洞察,能够显著提升企业的市场竞争力和运营效率。
4.4 保护边缘:强化的网络安全与合规性
4.4.1 网络安全专业知识的嵌入
将网络安全专业知识深入嵌入到 IT 基础设施和流程中,确保边缘计算环境从设计到实施都符合最高安全标准。
4.4.2 零信任安全框架
采用零信任安全框架,对边缘设备进行细粒度的访问控制,确保数据和资源的安全,防止未授权访问。
4.4.3 供应链安全
通过安全的供应链管理和零信任原则,保护应用程序、数据和基础设施在每个层面的安全,从源头上防止风险。
4.4.4 自动化和智能化监控
利用自动化和智能化的监控工具,提高对边缘环境中潜在威胁的检测、监控和响应能力,确保及时识别和缓解安全事件。
4.4.5 全球分布式 SOC
通过全球分布式安全运营中心(SOC)能够提供全天候的威胁检测、调查和响应服务,增强了对全球边缘环境的安全监控和保护。
4.4.6 数据和系统保护
通过内置的数据和系统保护措施,如加密和访问控制,确保数据的安全性和在出现问题时的快速恢复。集成先进的安全措施和零信任安全框架,确保数据在边缘设备上的安全处理和存储,配套的自动化工具和智能监控系统能够实时检测和响应潜在威胁,显著提高了数据的安全性。此外,优秀的边缘解决方案支持企业在遵守数据保护法规的同时,实现数据的高效管理和利用。
5. 生态建设
在当今这个快速变化的数字化时代,边缘计算已经成为企业获取竞争优势的关键,产业内有许多优秀的企业和组织将自身技术能力开放,合纵连横为边缘计算产业的蓬勃发展贡献力量。
5.1 开源框架
EdgeX Foundry 是一个开源的网络边缘软件平台,与物理世界的设备、传感器、执行器和其他物联网对象进行交互,旨在帮助用户利用自己青睐的硬件、软件、标准和服务构建边缘计算解决方案,同时尽量减少重复性工作。EdgeX Foundry 的主要目的是打造并推广面向物联网的通用开放标准 EdgeX;支持和鼓励物联网社区,围绕可互操作的即插即用部件 / 组件打造一个生态系统;提供构建基于 EdgeX 的物联网解决方案的工具。
KubeEdge 是 2018 年 11 月开源的云原生边缘计算平台项目,可将云上容器化的业务流程和设备管理扩展到边缘上的主机,并为云和边缘之间的网络,应用部署和元数据同步提供基础架构支持。
K3s 是由 Rancher Labs 发布的一款开源、极轻量的 Kubernetes 发行版,通过了 CNCF 一致性认证,适用于在资源有限的环境中运行 Kubernetes。K3s 主要用于部署在资源受限的边缘计算场景中,也可以在本地运行以进行 Kubernetes 测试或开发。
EdgeGallery 是由多家企业、机构联合发起,捐献给 LF,目前处于 Linux 基金会的 LF Edge Icebox 阶段的开源项目。项目目的是打造一个符合 5G 边缘“联接 + 计算”特点的边缘计算公共平台,实现网络能力(尤其是5G 网络)开放的标准化和 MEC 应用开发、测试、迁移和运行等生命周期流程的通用化。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。