亚马逊云科技：Dify.AI生成式AI落地的挑战和解决方案

关键字: [innovate2024, Dify, 生成式Ai企业落地, 企业Ai应用编排, 大模型工具链, 应用效果监控优化, 企业创新加速]

本文字数: 1600, 阅读完需: 8 分钟

导读

在亚马逊云科技 Innovate 大会上,演讲者延君晨分享了关于生成式AI企业落地的现状、挑战和解决方案。他介绍了Dify AI工具链如何帮助企业快速发布应用、持续优化,并与亚马逊云科技的产品和服务进行集成。演讲者还分享了Dify与亚马逊云科技在产品技术、商业化和市场等方面的合作案例。最后,他从个人视角对企业进行生成式AI转型提出了建议,包括找到具体情景、抽象工作流、推广普及以及形成正反馈机制。他呼吁企业拥抱生成式AI带来的技术变革,并欢迎使用亚马逊云科技和Dify的解决方案。

演讲精华

以下是小编为您整理的本次演讲的精华，共1300字，阅读时间大约是6分钟。

在亚马逊云科技Innovate大会上,Dify.AI的联合创始人延君晨先生就企业如何加速落地生成式AI进行了分享。他首先介绍了Dify这个开源项目,目前在全球开源社区中同类产品排名靠前,拥有47,000个星星(star),月活跃用户超过200万,可以观察到企业如何落地使用生成式AI。

延君晨阐述了企业生成AI落地的现状和挑战。当前,模型选择可谓百花齐放,无论是在中国还是全球范围内,都有很多不同的模型供应商,他们的成本在不断地下降,性能在不断地上升,这使得企业选择模型并非一个巨大挑战。然而,真正稀缺的是信息和创造价值的思路。企业需要招聘一个完整的研发团队,去解决目前生成式AI的技术落地问题,这其中包括评估不同模型的效果、反复对接、不断尝试不同的提示词、不同的应用编排,准备和处理数据,设计方案接入各种大模型,对各种技术和产品层面进行研究和对接。这些工作都不属于企业的核心业务价值,反而会分散企业的精力,无法聚焦于自身的核心业务。

为解决上述挑战,Dify提供了一条工具链,旨在让企业聚焦于自身的业务价值,快速发布应用并持续优化。Dify提供了一个交互友好的统一界面,帮助企业编排应用。同时,它提供了开放的方式接入模型、企业数据、工具API,并通过Workflow将企业的业务理解沉淀下来。最重要的是,在应用发布之后,Dify会提供一个平台,让企业持续监控并优化应用的效果,这体现了DevOps的理念。通过Dify的工具链,企业落地AI应用的成本可以大幅降低。一家头部汽车企业表示,在使用Dify平台后,他们维护生成AI应用的成本大幅降低,由原先的一个较高数字降至一个较低数字。

从宏观角度来看,Dify作为Infra层工具链,连接了生成AI应用所需的5层架构,包括模型层、基础设施层、服务层以及最终面向企业内部或终端客户的应用层。从微观角度来看,Dify提供了数据ETL、提示词编排、Workflow编排、插件接入、API对外服务等全方位能力。不仅如此,Dify的技术栈具有很好的开放性和可扩展性,意味着企业可以轻松地将Dify集成到现有业务系统中,随时接入和替换不同的模型、接入企业API、接入不同的IG方案,根据需求进行动态创新。此外,Dify将持续迭代,跟进多模态理解和生成模型技术、加强开放性、评估并完善Ops能力。

Dify与亚马逊云科技合作密切,Dify产品原生支持调用亚马逊云科技的Bedrock和SageMaker上已部署的模型服务,工具层也集成了亚马逊云科技提供的多种解决方案,企业可以轻松通过Dify调用这些服务。两家公司为近百个客户提供联合服务,包括一家游戏公司,他们利用Dify结合亚马逊云科技的现有能力,实现了智能运维、辅助开发、运营提效等多种应用场景,这些应用最终都沉淀在了Dify上。比如技术文档生成、日志监控、压测、游戏评论分析等,都是通过Dify再结合企业内部工具以及亚马逊云科技已有能力进行的应用串联。

另一家跨境电商企业则将亚马逊云科技上的应用沉淀到Dify上,他们将企业内的人分为三类:普通员工可以开箱即用已构建好的AI应用,该企业AI应用的日活跃率已经超过30%,远高于行业平均水平;有构建能力的人员可以使用Dify进行创新,在金融、零售、医药、汽车等多个行业,该企业的客户都在使用Dify作为创新平台;开发人员则可以使用Dify高效开发,一个从未接触过AI产品的工程师,可能只需两天时间就能做出一个不错的AI应用。

延君晨从个人视角对企业AI转型提出了四个步骤:首先要找到一个具体的情景,比如医药行业的知识密集型工作,使用大模型可以将检索医学文献、得出结论的时间从几个小时缩短到几分钟或十几分钟;其次将这些情景抽象为Workflow;第三是在企业内部或外部推广并普及应用;最后也是最重要的一步,就是形成正反馈机制,让应用的效果进一步加速企业的技术进步和业务发展。他举例说,对于一些金融行业客户来说,使用大模型可以将为客户提供详实简报的时间从两三个小时缩短到1分钟,但效果没有太大差异。

延君晨认为,AI将深刻影响个人的工作生活方式,自己目前有超过1/3的工作是由AI辅助完成的,无论是回邮件、写文案,还是在招聘过程中,都有AI工具辅助。工程师的代码也有很大一部分是由AI生成的,人的角色更像是管理和控制AI以获得预期结果。他引用了一位工程师的话,表示现在工程师的主要工作不是写代码,而是理解业务需求,控制AI生成符合预期的代码。

延君晨还分享了Dify秉承的两个基本理念:技术平权和创新涌现。技术平权意味着,随着技术的发展,人们获取和使用技术的成本将逐渐降低,从昂贵的产品转变为日常用品,这也是亚马逊云科技一直坚持的理念。创新涌现则认为,创新是自下而上涌现出来的,而不是自上而下分配任务,企业应该为一线员工提供机会激发创造力,而不是按照传统的管理方式。一家教育行业客户就因为深圳市AI的创新,改变了组织架构形式,让业务人员亲自写提示词,将创新单元缩减到三五个人,取消了信息隔离,内部有几百个不同的Workflow在执行,人效和结果都有显著提升。最后,延君晨表示,无论是亚马逊云科技还是Dify,都欢迎企业使用它们的产品和解决方案,拥抱生成式AI带来的新技术范式。

下面是一些演讲现场的精彩瞬间：

君晨介绍了自己是 Dify.AI的联合创始人,并宣布了今天分享的主题是关于亚马逊云科技和 Dify 在生成式 AI 企业如何加速落地。

在创新2024大会上,演讲者从宏观和微观两个角度解释了企业如何落地生成式AI架构,包括5个层面:模型、基础设施、服务、应用以及底层硬件。

通过架构图展示了Dify连接了大模型生成式AI应用过程中的所有基础设施,包括数据ETL、提示词编排、工作流编排、插件集成、API和Web App等。

Dify将在开放性、多模态技术迭代和运维能力方面不断探索和完善,以更好地将生成式AI技术与企业业务相结合。

Dify是一款提高企业创新热情的AI产品,许多头部企业都在使用它举办内部创新比赛和黑客马拉松活动。

我们相信创新是一种自下而上的涌现过程,而不是自上而下的任务分配。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI的首选，通过生成式AI技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI应用的大模型等工具、以及开箱即用的生成式AI应用。深耕本地、链接全球 – 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。