如何在公司内建立提示工程专业技能

原文：towardsdatascience.com/how-to-build-prompt-engineering-expertise-at-your-company-cc21a67d4072?source=collection_archive---------6-----------------------#2024-12-02

https://medium.com/@vmalyi?source=post_page---byline--cc21a67d4072--------------------------------https://towardsdatascience.com/?source=post_page---byline--cc21a67d4072-------------------------------- Viktor Malyi

·发表于Towards Data Science ·7 分钟阅读·2024 年 12 月 2 日

–

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/3044a510a7fd7923a96b5bbd5af04468.png

你决定在公司内使用生成型人工智能，并且已经进行了初步的实验。现在问题来了：我是否需要专门的人来处理即将到来的提示工作？

尽管近年来对提示工程的兴趣保持稳定，许多公司在建立提示工程能力的第一步上遇到了困难，因为他们根本不知道从哪里开始。

像提示工程岗位的高薪这样的新闻并没有帮助，反而使得人们的自然反应是直接去自由市场寻找提示工程师，这样做太冒险。这是因为这些公司仍处于生成型人工智能采用的初期阶段，并不确定在这个阶段对新员工进行如此大量的投资是否值得。

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/1332ff2648ed6ae6f7f79e7d937aa1bf.png

来源：www.businessinsider.com/ai-prompt-engineer-jobs-pay-salary-requirements-no-tech-background-2023-3

此外，考虑到生成型人工智能在 2023 年至 2024 年间的迅速发展，许多领导者都在问一个非常合理的问题：提示工程师会长期存在吗？未来是否仍然需要编写提示，还是只需要向大型语言模型（LLM）简单描述待解决的问题，用几句话就能满足需求？

虽然任何公司都可以自由选择如何满足他们对能够进行提示工程的人员的需求，但在这篇文章中，我将重点讨论如何在公司内部培养这种专业技能。这条路可能不像直接雇佣一个有现成提示工程经验的人那样简捷，但它带来了一些积极的副作用——稍后会详细说明。

提示工程师应该具备深厚的技术背景吗？

绝对不是。目前的提示工程状态提供了大约 20 种高级技术，其中一些可能对于实现你生成 AI 项目的特定目标非常有效，但没有一种技术要求深入了解编程语言，或者仅仅由提示工程师来构建复杂的提示交互。

提示工程师通常从定义 LLM（大语言模型）需要解决的问题开始。通过尝试不同的提示内容，如何构建提示，或者如何将多个提示连接起来，做提示工程的人需要确保 LLM 输出满足预期质量。

上述所有内容都可以“纸上谈兵”完成，而且不需要写出一行代码。在这里，纸指的是每个 LLM 供应商提供的操作平台。如果需要让多个提示协同工作，前一个提示的输出可以手动注入到下一个提示中。

什么样的人会在提示工程师岗位上表现突出？

我们目前处于一个独特的境地，这个角色的形态尚未最终确定，并且正在根据行业需求不断调整：几乎每半年，AI 工具和提示技术的进展都要求从事提示工作的人不断扩展自己的技能。

但有两点是默认至关重要的：好奇心和创造力。

一个真正对自己所从事领域充满好奇的人，无论这个领域是什么，都能够交付最佳的结果。不断跟进最新的提示技术进展，了解大型语言模型的独特能力（以及市场上众多商业和开源模型的多样性），将使他们不仅仅是把“一个 GPT”应用到每个他们解决的问题上，而是能立即识别出，例如，非复杂的任务可以由较不强大的、但更便宜且更快速的模型来解决。

另一个至关重要的技能是在进行提示工程时保持创造性。虽然已经有一些提示工程方法可以保证稳定的结果，但我们还远未理解哪些提示或技术能产生最佳输出。如果仅仅依靠直接简洁的提示，这些人永远也不会发现那些能在统计上提升模型输出表现的方法，例如“我要给$xxx 的小费换一个更好的解决方案！”以及其他疯狂且出人意料的想法。LLMs 是我们以前从未拥有的工具，在它们当前的发展阶段，保持创造性地使用它们，并给予正确的指令，将带来最佳的结果——所以，确保你为这个角色设想的人能够进行原创性的思考。

在某些时候，提示工程师将会对已部署到生产环境中的提示进行更改，确保 LLM 输出质量不会回退将是他们的首要任务。当然，有一些工具和方法可以帮助降低这个风险，但没有什么能够替代一个专心的人，通过仔细阅读模型的输出，比较更改前后的内容，并识别出负面模式。

如果你设想的未来提示工程师具备上述三种特质，不必担心他们例如尚不完全了解大型语言模型（LLMs）如何运作——好奇心会引导他们自然而然地学习，而创造力将赋予他们解决那些不明显问题时新颖的技巧和方法。对细节的敏锐眼光将在长期内发挥作用，并防止输出质量出现意外的下降。

这里有另一个关于优秀提示工程师应具备的其他特质的讨论。

在哪里可以找到从事提示工作的人

虽然从外部招聘某人始终是一个选项，但这样的人不会立即了解你希望从 LLMs 中获得的输出。由于 LLMs 的非确定性特性，它们的输出可以有多种形式和风格，而这正是提示工程师的工作——使得这种结果变得更加可预测。

谁最了解你的 LLM 助手应该产生哪种输出？（例如，答案应该有多深入，使用什么语气？）

对了。这些是你公司内部的员工，他们已经深度参与了你产品的开发工作。仔细看看：也许他们当中已经有人对生成式 AI 的能力感到兴奋，并想尝试一个新的角色？

这些人将是成为提示工程师的理想候选人：他们的领域和产品知识足够深入，能够知道模型输出应该达到什么程度的复杂性和准确性。通常，他们还拥有其他部门的有用内部关系，而这些技术人员未必具备。例如，一位来自客户成功部门并成为提示工程师的人，会更容易知道他们所参与的基于 LLM 的产品的最终输出应该是什么样的，而不像昨天的技术部门的工程师那样，通常只专注于一个单一产品领域的深度技术工作。

如何培养你的提示工程师

随着时间的推移，你将面临需要培养公司内部提示编写人员的需求。对这些专家的成长不仅仅意味着能够快速找到适合给定问题的最佳提示技术（这通过经验积累），而是扩展他们的视野，让他们能够在超越仅仅定义 LLM 应用的系统提示之外，看到更多的可能性。

除了紧跟 LLM 研究和最新提示工程技术的进展外，更高级的提示工程师需要解决 LLM 评估工具的问题——这些工具提供关于模型/提示性能的反馈（类似于软件工程中的单元测试）。

通常，评估工具可以是基于 LLM 的（例如，模型 B 评估模型 A 的输出）或基于代码的（例如，Python 函数检查模型输出是否符合预期的 JSON 架构）。尽管基于代码的评估工具不需要精通编程技能，但实现这些工具的人必须对他们所使用的编程语言（主要是 Python）有一个高层次的理解——因此，提升这个技能可能是提示工程师成长的一个方向。

想象一下：某人交付了一个不仅“有效”且其中包含指令，且这些指令有测试/评估工具确保类似传统软件开发中单元测试提供的安全网的提示。

提示工程不仅仅是关于提示技巧、输出质量和评估工具。从更高水平来看，从事提示工作的人员必须更深入地理解 LLM 超参数对输出的影响。这意味着这样的人员可能需要成长的另一个方向——学习机器学习的基础知识，并投入更多精力了解 LLM 如何在后台运作。

理想情况下，你的组织已经有一位在软件开发与经典机器学习（或生成性人工智能）交集处有经验的领导者。这样的人可以更精确地引导提示工程师的成长，通过引导他们的开发进入上述领域。

构建提示工程师的专业能力

构建提示工程专业知识没有“一刀切”的方法，因为每个组织对这些提示所应用的大型语言模型有不同的要求。在不同的组织中，构建专业知识的意义可能大相径庭。

但有一点始终不变：您的提示工程师必须深入参与他们所从事的产品相关工作，同时具备与其独特角色相关的特定知识：前者使他们能够更快地实现所需的模型输出质量，后者则确保这些结果是可持续的，并且符合生成性人工智能这一快速发展的领域中的最佳实践。

给予您的提示工程师自由探索新方法的空间，同时让他们对所交付的结果负责：尽管大型语言模型（LLM）输出的非确定性特征存在，但我们可以并且应该减少意外输出质量偏差的风险，而且有工具可以使这些措施量化。

在您的组织中构建提示工程专业知识，不仅仅是适应当前人工智能的趋势——它还关乎塑造未来公司如何利用技术进行创新。通过赋能您的团队掌握提示工程，您将培养一种创造力、效率和前瞻性的文化。