LLM 开发人员面临的最大挑战

具体来说，这项研究涉及从一个流行的 OpenAI 开发者论坛中抓取和分析 29,057 个相关问题。研究人员首先检查这些问题的受欢迎程度和难度。随后，他们手动分析了 2,364 个抽样问题。

快速概览

下面是根据研究编制的图表，重点介绍了六个主要领域。与 API 相关的查询尤其普遍，这主要是因为为特定交互配置 API 的复杂性。

此外，大量一般性问题集中在 LLM 与现有业务系统的整合上。

总体挑战中，大部分（26.3%）属于一般问题类别。其中，与自定义应用程序集成子类别所占比例最大，占一般问题的 64.6%。

研究分类

考虑下图，对2,364 个抽样问题进行了手动分析，从而形成了包含27 个不同类别的挑战分类法，例如：

• 快速设计，
• 与自定义应用程序集成，以及
• 代币限制。

基于该分类法，该研究还总结了主要发现并为 LLM 利益相关者（包括开发商和提供商）提供了可行的建议。

API 调用中的错误消息

此类别包括开发人员在使用 LLM API 时遇到的各种错误消息。

例如，开发人员在调用图像编辑 API 时可能会遇到请求错误和数据值容量限制错误。

此外，还可能出现与 OpenAI 服务器相关的问题，例如网关超时错误。此子类别占已识别挑战总数的 7.5%。

攻读大预言模型 (LLM) 课程面临的六大挑战

1. 自动化任务处理：与需要手动编码的传统软件不同，LLM 可以自动执行文本生成和图像识别等任务。
2. 处理不确定性： LLM 产生多变且有时不可预测的输出，需要开发人员管理这种不确定性。
3. 处理大规模数据集：开发 LLM 涉及管理大型数据集，需要数据预处理和资源效率方面的专业知识。
4. 数据隐私和安全： LLM 需要大量数据进行培训，这引发了对确保用户数据隐私和安全的担忧。
5. 性能优化：优化 LLM 性能，特别是输出准确性，不同于传统的软件优化。
6. 解释模型输出：理解和确保 LLM 输出的可靠性可能很复杂且依赖于具体情况。

结果显示，54% 的问题的答案少于三个，这表明这些问题通常很难解决。

开发者的痛苦

2022 年 11 月推出的 GPT-3.5 和 ChatGPT，以及 2023 年 3 月推出的 GPT-4，真正加速了 LLM 开发者社区的增长，显著增加了 OpenAI 开发者论坛上的帖子和用户数量。

LLM 开发人员面临的挑战是多方面的、多样化的，涵盖 6 个类别和 27 个不同的子类别。

API 调用成本、速率限制和令牌限制等挑战与 LLM 服务的开发和使用密切相关。

开发人员经常会担心API 调用成本，这会受到模型选择和每次请求中使用的令牌数量的影响。

速率限制旨在确保服务稳定性，要求开发人员了解和管理其 API 调用频率。令牌限制带来了额外的障碍，特别是在处理大型数据集或广泛上下文时。

因此，LLM 提供商应开发工具来帮助开发人员准确计算和管理代币使用情况，包括针对各种模型和场景量身定制的成本优化策略。有关模型选择的详细指南（包括成本性能权衡）将有助于开发人员在预算限制内做出明智的决策。

此外，使用人工智能服务时，安全和隐私问题至关重要。开发人员必须确保其应用程序遵守安全标准并保护用户隐私。

OpenAI 应该继续推广其免费的审核 API，该 API 可以通过自动标记和过滤潜在的有害输出来帮助减少完成中的不安全内容。

在高风险领域和代码生成中，人工审查输出至关重要，以解决系统限制并验证内容的正确性。

限制用户输入文本和限制输出令牌的数量也有助于减轻提示注入风险和滥用，这些措施应该融入安全人工智能部署的最佳实践中。

综上所述

通过查看 OpenAI 开发者论坛上的相关帖子，可以发现 LLM 开发正在迅速获得关注，与传统软件开发相比，开发人员遇到的问题更为复杂。

该研究旨在分析这些帖子所反映的潜在挑战，调查 LLM 开发者论坛上的趋势和问题难度级别