亚马逊云科技：JupyterAI如何实现无缝集成AI模型

关键字: [Jupiter AI, Jupyter Ai, Large Language Models, Open Source, Notebook Generation, Code Explanation]

本文字数: 1500, 阅读完需: 8 分钟

导读

在这场演讲中,Jason Wilde和Piyush Chan介绍了JupyterAI,一个开源扩展,将强大的语言模型功能引入Jupyter笔记本环境。他们探讨了JupyterAI如何实现无缝集成AI模型,用于生成代码、解释错误、重写代码,甚至从文本提示创建整个笔记本。演讲重点阐述了JupyterAI在Jupyter环境中使用AI模型时如何提高生产力、透明度、协作和用户控制,同时坚持厂商中立性和数据隐私等原则。

演讲精华

以下是小编为您整理的本次演讲的精华，共1200字，阅读时间大约是6分钟。

在一间昏暗的会议厅内,随着来自亚马逊云科技开源Jupyter团队的两位工程师Jason Wilde和Piyush Chan登台,现场充满了期待的氛围。他们的使命是揭开Jupyter AI这一创新开源扩展的神秘面纱,它有望彻底改变开发人员在熟悉的Jupyter笔记本环境中与大型语言模型(LLMs)交互的方式。

作为Jupyter生态系统的经验丰富的人士,Jason首先解释了该项目的起源。他表示,Jupyter是一个用于交互式计算的开源项目,已有近20年的历史。最初设计用于Julia、Python和R,但由于引入了内核,它的通用性已扩展到包括各种编程语言。像亚马逊云科技这样的公司已经认识到了这个平台的潜力,并在其基础上构建了商业产品,如SageMaker Studio。

然而,Jason强调,Jupyter AI本身并不是一个LLM。相反,它充当了一个接口,一座桥梁,将用户与可用的大量LLM连接起来,让他们能够在熟悉的Jupyter环境中利用它们的力量。这个扩展提供了两种交互模式:一个嵌入在Jupyter Lab面板中的聊天界面,以及一组可以直接在笔记本中调用的魔术命令。

随着演示的深入,Jason和Piyush一一展示了Jupyter AI的各种令人印象深刻的功能。从生成文本和代码片段,到解释、调试和重写现有代码,这个扩展承诺成为开发人员工具箱中的一个多才多艺的助手。但也许它最了不起的功能是能够从本地数据中学习,利用嵌入和生成模型以前所未有的准确性回答查询。

就好像这还不够,Jupyter AI还能够从单个文本提示构建整个Jupyter笔记本,这一功能有望彻底改变开发人员的工作流程。

在令人印象深刻的Jupyter AI功能背后,是一系列指导其开发的设计原则。其中最为重要的是供应商中立性,通过开源的Langchain库,承诺支持广泛的LLM提供商。这确保了用户不会被束缚于任何单一供应商,而是可以自由选择Hugging Face平台上超过30万个模型,以及Anthropic、Bedrock等提供商提供的模型。

透明度和可追溯性也是至关重要的,Jupyter AI明确标记所有由AI生成的内容,从而增强了人们对这项技术的信任和问责制。协作也是另一个关键原则,聊天界面被设想为一个共享空间,同一服务器上的多个用户不仅可以与AI助手互动,还可以相互交流。

至关重要的是,Jupyter AI被设计为完全由用户驱动,除非明确指示,否则不会被动扫描代码或文件。这种对用户控制的承诺与以人为本的方法相辅相成,界面模仿了熟悉的软件(如聊天应用程序和魔术命令),确保了无缝和直观的体验。

随着演示者过渡到现场演示,Jupyter AI的真正威力变得明显。只需几个键入,Jason就召唤出魔术命令,生成代码、解释错误并重写现有代码片段,同时与Anthropic的CLAUDE 1.2和CLAUDE 2等各种LLM提供商无缝集成。

在一个演示中,Jason要求CLAUDE 2”生成一个pandas数据框架来描述机场延误时间”,并指定”format”参数以接收源代码作为输出。LLM响应了一个Python代码片段,导入了pandas库,创建了一个包含四个机场(JFK、ORD、LAX和SFO)的数据框架,并为每个机场分配了10到24分钟不等的”平均延误时间” - 这是一个创造性的(尽管不完全可靠的)解决方案。

聊天界面也证明了自己的实力,灵活地回答问题、解释代码,甚至实时重写笔记本的选定部分,同时遵守用户选择的LLM提供商。当被要求重写机场延误代码以包含更多机场时,LLM顺利地将CTAC、IDYZ及其各自(虽然是虚构的)延误时间并入现有数据框架。

在这场令人惊叹的演示中,Piyush展现了Jupyter AI的学习能力,这可能是最令人印象深刻的部分。通过摄取本地数据、创建向量嵌入,并采用一种称为”检索增强生成”的技术,该扩展程序可以准确回答有关该数据的查询,利用它所获得的上下文知识。

Piyush通过发出”learn”命令来演示这一点,指示Jupyter AI摄取本地”docs”目录中包含Jupyter AI项目本身文档的文件。一旦学习过程完成,他就可以使用”ask”命令询问LLM有关文档的具体方面,例如”在Jupyter AI魔术命令中,别名是如何工作的?“凭借从学习的文档中获得的上下文知识,LLM提供了准确详细的回应,解释了如何使用”register”命令为提供程序和模型注册别名。

当被问及”在Jupyter AI中,learn命令有哪些可用选项?“时,LLM透露了一些选项,如”delete”用于清除学习的数据,以及”chunk_size”和”chunk_overlap”参数用于微调搜索过程 - 这些细节它只能从摄取的文档中获得。

然后,Piyush只用一个命令就演示了”generate”功能,它可以根据简单的文本提示构建整个笔记本。当被提示”生成一个笔记本来学习如何使用正则表达式”时,Jupyter AI立即行动起来,将任务分解为子任务,并将它们委托给所选的LLM。几分钟之内,一个全面的”正则表达式学习笔记本”就出现了,包括介绍、总结和多个充满代码单元和解释性文本的部分 - 这是对该扩展程序卓越能力的有力证明。

在整个演示过程中,Jason和Piyush强调,Jupyter AI的设计目的不是取代人力,而是增强和改善日常工作流程,使开发人员能够成为更好的建设者。他们重申,该扩展程序是一个开源项目,由Project Jupyter管理,任何人都可以在GitHub上下载、贡献代码以及报告错误或增强请求。

当演示临近尾声时,观众们被深深的震撼和兴奋所包围。Jupyter AI不仅展现了出色的技术实力,更体现了Jupyter项目核心所蕴含的开源协作与创新精神。

在接下来的日子和周期里,世界各地的开发者无疑会热烈拥抱这一开创性的扩展,渴望探索其功能,并在熟悉的Jupyter notebooks环境中推动LLM的边界。对于Jason、Piyush和整个亚马逊云科技的Jupyter团队而言,这只是交互式计算新时代的开端,在这个新时代,人工智能的力量将被利用来增强和提升人类的创造力。

总结

Jupyter AI是一款供应商中立的工具,允许用户通过开源的LangChain库选择各种大型语言模型(LLM)提供商和模型。它具有透明性和可追踪性,在代码或内容由LLM生成时会进行指示,以提高对该技术的信任度。此外,它还具有协作性,允许多个用户在共享的聊天会话中与同一AI助手进行交互。

Jupyter AI是用户驱动的,确保用户的数据保持在用户的控制之下,只有在用户明确要求时才会发送给LLM。它以人为本,具有熟悉的聊天界面和模仿现有Jupyter功能的魔术命令。

Jupyter AI充当中间件,使用LangChain与用户选择的LLM进行通信。它处理提示工程、请求传输和结果解释。此外,它可以使用向量嵌入和检索增强生成从用户的本地数据中学习,允许LLM根据用户的上下文提供更准确的响应。“/generate”命令尤其强大,通过利用LLM的功能,它可以从单个文本提示创建完整的Jupyter Notebooks。

总的来说,Jupyter AI旨在通过无缝集成LLM的强大功能来增强用户的交互式计算体验,同时优先考虑透明度、协作和用户控制。它使用户能够利用AI助手进行代码生成、解释和探索,同时保持对用户的数据和工作流程的所有权。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI的首选，通过生成式AI技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI应用的大模型等工具、以及开箱即用的生成式AI应用。深耕本地、链接全球 -- 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。