Fastly的新API有望提高ChatGPT的可访问性

该公司报告称，Fastly AI在其 Edge Cloud Platform 上运行并利用语义缓存，加快了 AI 聊天机器人的访问时间，促进了代码生成和调试等开发人员服务。

该公司暗示，它可能会通过扩展这一专门的 API 来拓宽其 AI 战略，以便未来涵盖 ChatGPT 之外的其他大型语言模型 (LLM)。

文章来源：Fastly的新API有望提高ChatGPT的可访问性-国外VPS网站

Fastly强调，这是解决流行 AI 应用程序遇到的一些问题的催化剂，因为它们每天要处理数十万个 API 调用，并感受到后端效率低下的痛苦。例如，如果没有语义缓存，每次调用 LLM 都需要返回提供商获取信息，这可能会增加成本和延迟。AI Accelerator 的语义缓存旨在通过存储来自 Fastly 高性能边缘平台的许多查询的响应来快速克服这些问题，从而提供更好的用户体验，提高性能并降低成本。

这一进展引起了 Moor Insights & Strategy 行业分析师 Will Townsend 的关注，他称其为游戏规则改变者。AI Accelerator 不仅可以提高生成式 AI 性能，还可以降低代币成本。这展示了 Fastly 的架构优势，并表明他们的 CDN 方法可以应用于更多非传统服务。

在 Fastly 最近的季度财报电话会议上，首席执行官 Todd Nightingale 强调，客户越来越多地寻求无服务器计算和边缘存储等先进解决方案。这与公司提供尖端技术以满足不断变化的市场需求的战略重点相一致。

Fastly 的边缘网络基础设施非常广泛，横跨美国二十多个站点和众多国际地点。在其最新季度报告中，该公司记录了其边缘计算产品的增长，该业务部门的收入同比增长从约 200 万美元增加到近 300 万美元。虽然这只占 Fastly 总收入的一小部分，但该公司非常重视边缘计算，以实现未来的增长。

其推出对于电信行业来说尤其值得关注，因为包括 Lumen Technologies、Verizon 和 Akamai 在内的多家公司一直在探索 AI 与边缘计算的交叉机会。这些努力源于对边缘计算潜力的坚信，即推动构建更小、分布式数据中心以支持低延迟服务。

然而，这种预期的近乎即时、亚毫秒级、对延迟敏感的需求仅部分实现，给一些边缘计算项目带来了挫折。尽管存在这些困难，但围绕 ChatGPT 等人工智能服务的重新兴起正在重新将注意力集中在边缘计算上；采用率正在缓慢上升。尽管当今大多数人工智能部署都集中在大型数据中心，但未来预计将转向“推理”人工智能世界，由于边缘计算提供的低延迟网络连接，一些服务将更好地在边缘提供。

这是科技行业日益兴起的将复杂功能（例如机器学习）抽象为 API 的趋势的一部分。无线行业的开发人员越来越多地有机会通过 API 直接从网络购买新的网络功能，这对需要收回 5G 网络投资的运营商来说是一个诱惑。

更多相关资讯尽在：国外VPS网站 - 国外VPS测评,云服务器,香港VPS,主机推荐