为什么AI工程师现在开始崛起

 基础模型是“少样本学习者”,展现出上下文学习甚至零样本迁移的能力,可以泛化到超越模型训练者最初意图的领域。换句话说,创建这些模型的人并不完全知道它们的能力。那些不是大语言模型(LLM)研究者的人,只需花更多时间与这些模型互动,并将它们应用于研究所低估的领域(例如Jasper在文案撰写方面),就能找到并利用它们的能力。

 · 微软、谷歌、Meta和大型基础模型实验室已经垄断了稀缺的研究人才,实际上提供了“AI研究即服务”的API。你不能雇佣他们,但你可以租用他们——如果你有懂得如何与他们合作的软件工程师。全球大约有5000名LLM研究者,但有约5000万名软件工程师。供应限制决定了一个“中间”类别的AI工程师将会崛起来满足需求。

 · GPU囤积。当然,OpenAI/微软是第一批,但Stability AI通过强调他们拥有4000个GPU的集群,开启了初创公司之间的GPU竞争。

  • 还记得2022年10月吗?

从那时起,新的初创公司,如Inflection(13亿美元)、Mistral(1.13亿美元)、Reka(5800万美元)、Poolside(2600万美元)和Contextual(2000万美元),都普遍获得了巨额的种子轮融资,以拥有自己的硬件。甚至Dan Gross和Nat Friedman也宣布了他们的100亿美元的Andromeda GPU集群,专门为他们投资的初创公司而设。全球芯片短缺的问题还在不断加剧。在API线的另一侧,AI工程师将有更多的能力来使用模型,而不仅仅是训练它们。

 · “先点火,然后准备,再瞄准”,与其在训练一个特定领域的模型并投入生产之前,要求数据科学家/机器学习工程师进行费时的数据收集工作,产品经理/软件工程师可以向LLM发出提示,构建/验证产品创意,然后再获取特定的数据进行微调。

(注:“先点火,然后准备,再瞄准” 是英语俚语,指的是先行动再考虑后果。作者在此使用这个俚语暗示AI工程师们能够更迅速地进行实际应用,而无需过多的数据预处理和训练。)

假设后者的数量比前者多100到1000倍,而通过提示LLM原型的“先点火,然后准备,再瞄准”的工作流程使您能够比传统的ML快10到100倍。因此,AI工程师将能够以1,000到10,000倍更便宜的成本验证AI产品。这就像瀑布流(Waterfall)和敏捷开发(Agile)的较量一样,AI就是敏捷的。

 · Python → JavaScript。数据/AI传统上是极度依赖Python的,而且最早的AI工程工具,如LangChain、LlamaIndex和Guardrails,都是出自同一社区。然而,至少有与Python开发者一样多的JavaScript开发者,因此现在工具正在越来越多地迎合这个广泛扩展的受众,从LangChain.js和Transformers.js到Vercel的新AI SDK。这意味着总地址市场(TAM)的扩张和机会是巨大的。

 · 生成AI vs分类器ML。“生成AI”作为一个术语已经不再受欢迎,让位于其他类比,如“推理引擎”,但在简明地阐述现有一组MLOps工具和ML从业者之间的区别时仍然有用。而AI工程师则使用LLMs和文本到图像生成器,并且他们正在构建写作应用程序、个性化学习工具、自然语言电子表格和类似Factorio的可视化编程语言,与现有一代的ML可能更关注欺诈风险、推荐系统、异常检测和特征存储不同。

每当出现一个完全不同背景、使用不同语言、生产完全不同产品、使用完全不同工具的子群体时,它们最终都会分成自己的小组。

1+2=3:从软件2.0到软件3.0演进中的代码角色

 

6年前,Andrej Karpathy撰写了一篇非常有影响力的文章,描述了“软件2.0” - 将精确建模逻辑的“经典栈”手工编码编程语言与“机器学习”神经网络的新栈进行对比,后者近似逻辑,使软件能够解决比人类能够建模的问题更多。今年,他继续指出,最热门的新编程语言是英语,最终填补了他在原始文章中留下未标记的灰色区域。

更新:Karpathy回应了!有一些不同意见!

去年,提示工程成为了一种基本概念,描述了人们开始利用GPT-3和Stable Diffusion的工作方式将如何改变。人们嘲笑AI初创公司为“OpenAI封装器”,并担心LLM应用程序容易受到提示注入和反向提示工程的影响。没有堡垒可以找到?

但2023年最重要的主题之一是重新建立人工编写代码的作用,用以编排和取代LLM的功能。从超过2亿美元的庞然大物Langchain,到由Nvidia支持的Voyager,显示了代码生成和重用的不可置疑的重要性(我最近参加了与Harrison举行的链式应用与自主智能体的网络研讨会,在那里我扩展了代码核心与LLM核心应用的论点)。

主要的架构划分:“智能之上的软件”vs“智能软件”

提示工程既被过度炒作又稳定存在,但在软件3.0应用中重新出现的软件1.0范式既是一个巨大的机遇/混乱领域,也为一大批初创公司创造了白色空间:

  • 如果你不能记住这个地图,你还算VC吗?

当然,这不仅仅是人工编写的代码。我最近与smol-developer、更大范围的gpt-engineer以及其他代码生成智能体如Codium AI、Codegen.ai和Morph/Rift的合作将越来越成为AI工程师工具包的一部分。随着人类工程师学会驾驭AI,AI也将越来越多地进行工程工作,直到一个遥远的未来,我们将在某一天抬头望去,再也无法区分它们的区别。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sam5198

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值