华为云,用大模型交朋友

华为,要当大模型领域的“园丁”。

近日,在华为全连接大会2023上,华为轮值董事长孟晚舟表示:“华为支持主流大模型在智能化时代的‘百花齐放’,努力做好‘百花园’的黑土地。”

此次大会上,华为还披露了盘古大模型在矿山、政务、汽车、气象、医学、数字人、研发等领域的创新服务,并宣布华为云昇腾AI云服务正式上线,构建AI时代最佳云底座。

华为官方曾表示:“华为发展大模型的核心是关注算力和应用。”

一方面是深耕算力,打造强有力的算力底座,来支撑中国的人工智能事业的发展。另一方面结合大模型,从通用大模型到行业大模型的研究创新,来真正让人工智能服务好千行百业,服务好科学研究。

华为正在以算力为基础,以盘古大模型为触手,以模型社区和全面升级的云学堂为双引擎,以“交个朋友”逻辑构建以能力为核心的华为云生态伙伴体系,与各行业共建繁荣“百模千态”,让AI重塑千行万业。

用大模型交个朋友,华为底气从何而来?

华为,深耕“百花园”的黑土地

大模型的创新不仅仅是模型自身的发展,更依赖于 AI 的各项底层技术创新。

华为盘古大模型在最底层构建了以鲲鹏和昇腾为基础的 AI 算力云平台。此次大会上,孟晚舟提出要“打造中国坚实的算力底座,为世界构建第二选择”。

人工智能的发展,算力是核心驱动力。大模型需要大算力,算力大小决定着AI迭代与创新的速度,也影响着经济发展的速度。算力的稀缺和昂贵,已经成为制约AI发展的核心因素。

孟晚舟表示,华为将发挥在计算、存储、网络、能源等领域的综合优势,改变传统的服务器堆叠模式,以系统架构创新的思路,打造AI集群,实现算力、运力、存力的一体化设计,突破算力瓶颈,提供可持续的澎湃算力。

不久前,华为公司创始人任正非在与ICPC基金会教练和金牌获得者的学生谈话纪要中也提到:“我们即将进入第四次工业革命,基础就是大算力。”

大模型时代的到来,AI算力需求将迎来爆发式增长。华为预计,到2030年通用计算能力将增长10倍,AI计算能力将增长500倍。

然而,由于AI服务器的功率密度远超通用服务器,单机柜功耗是传统机柜的6至8倍,并需专用液冷系统散热,且大模型训练需要百卡、千卡甚至万卡,服务器之间的互联、时延、可靠性、运维极为复杂,自建AI数据中心面临诸多挑战。

为更好支持大模型的“百模千态”创新,9月21日,华为云昇腾AI云服务正式上线,并在贵安、乌兰察布、芜湖打造了3大AI云算力中心,为企业提供澎湃昇腾AI算力,让企业再也不需要高价抢购GPU,也不需要担心GPU未来潜在的供应连续性挑战。

同时,华为云昇腾AI云服务百模千态专区已正式上线。企业和开发者可以直接使用业界主流的开源大模型,如LLAMA,GLM等。

此外,华为云还提供高效长稳的大模型训练环境和完备的工具链:实现千卡训练连续30天不中断,任务恢复时长小于30分钟;通过30多个可视化调优和部署工具,帮助企业更高效进行数据处理、模型微调、Prompt工程等,完成一个千亿参数的行业模型端到端开发,从过去需要5个月缩短到现在1个月,整体速度提升5倍。

孟晚舟表示:“华为支持主流大模型在智能化时代的‘百花齐放’,努力做好‘百花园’的黑土地。”

盘古,正在重塑千行万业

盘古大模型是一个面向行业的大模型系列,包括【5+N+X】三层架构。

【5】代表 L0 层的五个基础大模型:包括自然语言、视觉、多模态、预测、科学计算大模型,提供满足行业场景中的多种技能需求。

【N】,代表 L1 层的 N 个行业大模型。行业大模型的提供方式有两种:一方面,华为云可以提供使用行业公开数据训练的行业通用大模型,包括政务,金融,制造,矿山,气象等大模型;另一方面,可以基于行业客户的自有数据,在盘古大模型的 L0 和 L1 层上,为客户训练自己的专有大模型。

【X】,则代表 L2 层为客户提供了更多细化场景的模型,更加专注于政务热线、网点助手、先导药物筛选、传送带异物检测、台风路径预测等具体行业应用或特定业务场景,为客户提供「开箱即用」的模型服务。

这三层架构将盘古大模型各种层和能力解耦,让行业用户根据自己的需求去开发,真正解决用户在实际调用大模型中的各种痛点问题,成就不同客户百模千态的需求。

在9月21日的华为全联接大会2023现场,盘古大模型进一步发布了在矿山、政务、汽车、气象、医学、数字人、研发等领域的创新服务,帮助行业企业解难题、做难事。

在矿山领域,精煤产率是困扰业界多年的难题。山东能源集团把盘古矿山大模型全面应用到采、掘、机、运、通、洗选等9大业务系统、21个场景中,引入预测大模型能力用于煤矿洗选。在盘古的助力下,济宁二号煤矿每年能多产出8000吨精煤,精煤产率提升千分之二,增收约2000万元。目前,盘古矿山大模型在全国8个矿井已开始规模使用。

在政务领域,城市治理是一项复杂的系统工程,通常需协同超过40个业务部门、应对4000多个开放场景。通过感知网络,城市充电桩、环境检测、燃气表等上百种传感信号每天产生的海量数据可接入到盘古政务大模型。盘古通过NLP与CV的多模态融合训练,实现文本、视频、图像的动态解析和理解,分析现象并找到正确的责任部门,并生成专业的处理建议,将城市治理的效率提升50%以上,实现城市政务的升级与重塑。

在汽车领域,自动驾驶训练难于遍历各种复杂场景。盘古汽车大模型通过构建数字孪生空间,生成复杂场景样本,让自动驾驶学习新复杂场景的周期从两周以上缩短到2天内。在商专车场景中,盘古可模拟矿区环境扬尘飞扬、上下长坡、大曲率转弯等场景并进行自动标注,4个月即可适配新的重卡车型。目前,新疆疆纳和内蒙古伊敏露天煤矿使用了华为商专车自动驾驶云服务,可实现60吨的重卡横向误差小于0.2米、精准停靠误差小于0.1米。

此外,盘古汽车大模型还覆盖了汽车设计、生产、营销、研发等业务场景。一汽解放数字化部部长宋磊结合盘古汽车行业大模型的实践进行分享,他表示,大模型作为企业智慧大脑,与既有业务系统深度融合,打造了员工贴身智能工作助手,重塑人机协同新型生产关系。

在气象领域,暴雨预测是气象领域最难的工作之一,每年全球由于暴雨造成的经济损失高达数千亿元。华为云研发团队结合全球40年气象数据和10年卫星降水数据,通过3D EST-3地球空间网络训练优化,打造全新的具备降水预测能力的盘古气象大模型,可实现对未来6小时、24小时的短期和中期降水预报,模型的降雨量预报精度提升了20%以上。

9月30日,华为云将正式启动盘古气象平台的邀测,让全球用户都可以直接调用降水预测等功能,携手全球客户和伙伴,打造区域更高分辨率降水预测模型,挑战暴雨红色预警从提前3小时到提前24小时,让风云可测。

在医学领域,盘古医学大模型学习了1600万学术期刊等海量高质量数据和100多万结构化知识图谱,具备医学临床辅助能力,有效支撑医学检验、临床辅助诊疗、个人健康管理等场景AI应用,成为医生和患者有力的医学助手。在医学检验场景,医学检验场景病症复杂、指标众多、临床经验差异,容易造成疏漏。未来,基于盘古大模型研发的润达医疗大模型 · 良医小慧,将走进4000家医院,辅助医生进行报告解读和诊断,加速医疗普惠。

在数字人领域,直播助农正在为乡村产业带来广阔的市场空间。盘古数字人大模型可快速地为人们打造自己的数字人,通过文本、语音驱动数字人准确流利地介绍产品,与观众实时互动。同时,只需用母语训练一次,即可使用20多国语言直播。盘古数字人大模型正加快农特产走出大山,让全世界了解中国的优质商品。

在软件研发领域,全新升级的CodeArts Snap,加强了代码检视和代码优化能力,并接入到CodeArts软件开发生产线的全流程23个开发工具中。CodeArts Snap让研发整体效能提升30%,并让代码更符合编程规范和代码可信。同时,盘古研发大模型还接入到Astro低代码平台,覆盖了可视化大屏应用、工作流、复杂应用、智能助手等多种开发场景,帮助开发者实现一句对话轻松生成应用,全面重塑软件开发。

“把诗意留给诗人,把难题留给盘古。”张平安说,盘古大模型正在重塑千行万业,让每个行业、每家企业、每个人工作更高效、更轻松。

因为一些众所周知的原因,华为并没有先进计算芯片的加持,然而,无论是最近新出的Mate60手机,还是如今底层算力的突破,似乎都指向了华为已经掌握了自主研发芯片的技术。

少了卡脖子的阻碍,大模型或将带领华为走得更远。

华为云,用大模型交朋友

华为云全球生态部总裁康宁在华为全联接大会上表示:“华为云已经构建起全面的大模型生态。我们全面支持盘古以及各类开源模型和第三方商业模型,团结各类伙伴和开发者,以澎湃的昇腾AI算力和开放的盘古大模型为基础,让AI重塑千行万业。”

在大模型时代,华为云的“交友”逻辑越来越清晰,将上下游用户、伙伴链接到统一的大模型平台,共创繁荣生态。

不仅华为云在强调做大模型生态,阿里云同样也在构建自己的开源生态。大模型的竞争已经不仅仅是“大模型”本身,大模型所构筑的“生态”正在成为核心竞争力。

华为云,凭什么用大模型交朋友?

首先,华为云基于昇腾AI云服务算力底座,已原生孵化和适配业界主流大模型,为开发者提供了完善的工具和资源,来支持大模型高效地迁移、保障模型训练的澎湃算力供应和环境的稳定可靠。

高效迁移,华为云支持华为全场景AI框架MindSpore以及社区流行的AI引擎,如PyTorch、TensorFlow的主力版本,并已完成AI框架90%的算子适配,支撑业界主流大模型及典型SOTA模型的无缝迁移。同时,提供便捷工具链和丰富的开发模板,帮助用户快速迁移模型。

澎湃算力,华为云在贵安、乌兰察布、芜湖打造了3大AI云算力中心。华为云昇腾AI云服务“百模千态”专区已正式上线,企业和开发者可以直接使用业界主流的开源大模型,如LLAMA,GLM等。

昇腾AI云服务的超大规模集群分布式并行训练能力,可以支持万亿级参数大模型。在模型推理阶段,华为云通过算子、框架、平台等全链路的垂直协同优化,让模型的推理性能普遍提升2倍以上。稳定可靠,华为云构建的故障模式库,支持硬件故障主动上报,故障感知时间小于1分钟;通过在线复位本地调度能力,让模型训练任务恢复时间小于30分钟;升级的集群稳定性提供无感断点续训能力,让稳定训练的时间从2-3天提升至月级。

另一方面,为了让开发者在大模型开发过程中充分发挥创新能力,华为云模型社区基于昇腾AI云服务的创新技术,提供覆盖千行百业的高质量数据集、SOTA模型库优化版本、AI创作能力支持、丰富的开发套件、学习课程和技术支持等,为开发者提供一站式模型服务。

此外,面向开发者,华为云学堂的教学练考体系也进行了全面智能升级,包括全新上线了针对大模型、云原生等20多个热门技术领域的优质课程,盘古大模型的技术认证内容;提供了4类学练一体的实验,如体验类、任务类、项目实训类、自主创新类,覆盖上百种实验类别、每月总计超过万次的免费在线实验名额。

与此同时,为了降低开发门槛,加速和简化行业大模型的开发,华为云提供了盘古大模型工程化套件,覆盖了数据工程、模型开发和应用开发三大环节。基于盘古L0层模型,与华为云共同发布面向各行业的联创模型以及解决方案。

如今,华为云与150多家伙伴、200多家客户,共同构筑了20多个行业大模型以及400多个AI应用场景,在诸多行业发挥着巨大价值。

在媒体行业,华为云联合阳光云视打造的媒体大模型中间件,覆盖媒体行业全场景业务需求,加速AIGC在媒体行业的应用和落地。

在法律行业,华为云与重庆法谷一同构筑普惠大众的法律大模型,在法律问答、律师办公等场景效果显著,释放AI在法律行业的价值。

在文化行业,华为云与中国公共关系协会文化大数据专业委员会联创文化大模型,应用于国家文化大数据体系的建设。

华为官方表示,未来,华为云将积极构建以昇腾AI云服务为基础的坚实算力底座,繁荣智能世界的“百模千态”;积极培育盘古大模型生态,让每一个开发者都能充分释放创造潜能;持续进行新伙伴体系变革,与能力型伙伴共赢市场。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

123?spm=1001.2014.3001.5501)这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

  • 18
    点赞
  • 29
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值