预训练大模型降低了 AI 应用的门槛,解决了 AI 应用的两个难题

  降低 AI 规模化落地的门槛
  预训练大模型降低了 AI 应用的门槛解决了 AI 应用的两个难题数据和行业知识它既不需要大量的标注数据又保障了基础底座。
  在预训练模型的业务定制优化和应用方面曾冠荣认为从第一个预训练语言模型 BERT 发布至今已在多个热门任务下得到应用逐步从一种“潮流”变成前沿技术的“基本操作”如预训练模型已成为机器翻译领域的基础关键性技术此外,预训练模型也成为大系统中的一部分发挥着其语义理解的优势
  无论是业界还是科研对预训练模型的使用方式逐渐灵活能从预训练模型中拆解出适合任务的部分并组装到己的实际任务模型中
  时至今日对预训练大模型的性能优化仍未终止在学界,仍有大量的研究在预训练模型的落地能力上努力压缩、剪枝蒸馏的工作仍起到重要作用不止于算法本身,编译、引擎硬件等方面的优化也在大步迈进
  小结和展望
  吴韶华认为整体而言现在大规模预训练模型的研究包括模型结构的演进和落地仍处在探索阶段各家的持续探索正在不断扩大对大规模预训练模的认知边界。
  “大规模预训练模型是人工智能的最新技术高地是对海量数据高性能计算和学习理论原始创新的全方位考验”清华大学教授智源大模型技术委员会成员刘远在接受 InfoQ 采访时展望了明年大模型发展趋势。
  刘知远表示他明年将重点关注两个层面的问题:
  一是人工智能技术正呈现“大一统”趋势如预训练模型在 Prompt Tuning 等技术的支持下可用于很多不同的任务再如 Transformer 模型框架正在从自然语言处扩展到计算机视觉模态接下来我们也许会看到更多的从框架模型和任务等方面推进人工智能技术趋向统一的工作; 另一个问题是随着预训练模型规模增大如何更好更高效地实现任务适配和推理计算将是让大模型飞入千家万户的重要技术
  国产深度学习框架不再是“技术的跟随者”
  过去十年涌现了大量的 AI 算法和应用这背后都离不开开源深度学习框架提供的支持
  开源深度学习框架是 AI 算法研和 AI 应用落地的“脚手架”帮助 AI 研究员和开发者大幅降低算法研发门槛提升研发效率。
  IDC 的调研显示,中国人工智能领域 90% 以上的产品都使用了开源的框架、库或者其他工具包。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值