IPRally巧用Google Kubernetes Engine和Ray改善AI

专利检索平台提供商 IPRally 正在快速发展，为全球企业、知识产权律师事务所以及多个国家专利和商标局提供服务。随着公司的发展，其技术需求也在不断增长。它继续训练模型以提高准确性，每周添加 200,000 条可供客户访问的可搜索记录，并映射新专利。

随着每年发布数百万份专利文件，并且这些文件的技术复杂性不断增加，即使是经验最丰富的专利专业人士也可能需要花费几个小时的研究才能使用传统专利检索工具解决案件。 2018 年，芬兰公司 IPRally 开始采用基于图的方法来解决这个问题。

“专利搜索引擎大多是复杂的布尔型搜索引擎，您需要花费数小时构建复杂的查询，”这家拥有 50 名员工的公司的首席技术官兼联合创始人 Juho Kallio 说道。 “我想打造一些重要且具有挑战性的东西。”

该公司利用机器学习 (ML) 和自然语言处理 (NLP)，将超过 1.2 亿份全球专利文档的文本转换为嵌入可搜索向量空间的文档级知识图。现在，专利研究人员可以在几秒钟内收到相关结果，其中包括人工智能选择的关键信息亮点和可解释的结果。

为了满足这些需求，IPRally 使用Google Kubernetes Engine (GKE) 和开源 ML 框架Ray构建了一个定制的 ML 平台，平衡了效率、性能并简化了机器学习操作 (MLOps)。该公司使用开源KubeRay在 GKE 上部署和管理 Ray，这使他们能够利用经济高效的 NVIDIA GPU Spot 实例进行探索性 ML 研究和开发。它还使用 Google Cloud 数据构建块，包括Cloud Storage和Compute Engine永久性磁盘。接下来将扩展到 Ray Data 和BigQuery的大数据解决方案。

“Ray on GKE 有能力在未来支持我们任何规模和任何类型的分布式复杂深度学习，”Kallio 说。

专为提高性能和效率而构建的定制机器学习平台

IPRally 工程团队的主要关注点是研发以及如何继续改进其 Graph AI，以使技术知识更容易获取。只需两名 DevOps 工程师和一名 MLOps 工程师，IPRally 就能够以 GKE 和 Ray 作为关键组件构建自己的定制 ML 平台。

作为开源的大力支持者，IPRally 在计算需求增长时将所有内容都转移到了 Kubernetes。然而，他们不想自己管理 Kubernetes。这促使他们选择了 GKE，因为它具有可扩展性、灵活性、开放生态系统以及对各种加速器的支持。总而言之，这为 IPRally 提供了性能和成本之间的适当平衡，以及计算资源的轻松管理以及在不需要时有效缩减容量的能力。

“GKE 提供了我们满足这些复杂的培训和服务需求所需的可扩展性和性能，并且我们获得了对数据和计算的正确控制粒度，”Kallio 说。

Kallio 强调的一项特殊的 GKE 功能是容器镜像流，它显着加快了启动时间。

“我们已经看到 GKE 中的容器镜像流对于加快我们的应用程序启动时间具有重大影响。图像流帮助我们将提交后训练作业的启动时间缩短了 20%，”他分享道。 “而且，当我们能够重复使用现有的 Pod 时，我们可以在几秒钟而不是几分钟内启动。”

下一层是 Ray，该公司使用它来扩展用于机器学习的分布式并行 Python 和 Clojure 应用程序。为了更轻松地管理 Ray，IPRally 使用 KubeRay，这是一种可以简化 Kubernetes 上的 Ray 集群管理的专用工具。 IPRally 使用 Ray 执行最高级的任务，例如大规模数据预处理和研发中的探索性深度学习。

“Ray 和 GKE 自动缩放之间的互操作性平稳且强大。我们可以不受任何限制地组合计算资源。”Kallio 说道。

最重的 ML 负载主要部署在配备 8 个 NVIDIA L4 GPU 的G2 虚拟机上，配备多达 8 个NVIDIA L4 Tensor Core GPU，为 AI 推理工作负载提供尖端的性价比。通过在 GKE 中利用它们，IPRally 有助于按需创建节点，根据需要扩展 GPU 资源，从而优化其运营成本。每个区域都有一个由 Terraform 提供的 Kubernetes 集群，用于 IPRally 搜索廉价的现货实例。然后，GKE 和 Ray 介入进行计算编排和自动扩展。

为了进一步简化 MLOps，IPRally 在 KubeRay 和 Ray 之上构建了自己的精简编排层 IPRay。该层为数据科学家提供了一个命令行工具，可以轻松配置模板化的 Ray 集群，该集群可以有效地向上和向下扩展，并且可以在 Ray 中运行作业，而无需了解 Terraform。这个自助服务层减少了摩擦，让工程师和数据科学家能够专注于他们更高价值的工作。

技术为强劲增长铺平道路

通过选择 Google Cloud 和开源框架，IPRally 表明初创公司无需花费数百万美元即可构建企业级 ML 平台。从一开始就专注于提供强大的 MLOps 和自动化基础，这在效率和团队专注于研发的能力方面带来了回报。

IPRally 的 ML 工程师 Jari Rosti 表示：“用最好的部件打造灵活的 ML 基础设施是非常值得的。” “现在，随着我们调整基础设施以适应不断发展的现代机器学习理念，我们看到这项投资的好处成倍增加。其他年轻公司也可以通过利用 Google Cloud 和 Ray 来实现这一目标。”

此外，该公司通过使用Spot 实例节省了 70% 的 ML 研发成本。这些经济实惠的实例提供与按需实例相同质量的虚拟机，但可能会出现中断。但由于 IPRally 的研发工作负载具有容错能力，因此非常适合 Spot 实例。

IPRally去年完成了 1000 万欧元的 A 轮投资，目前正在不断吸收和处理来自全球的知识产权文档，重点是改进其图神经网络模型并构建用于专利检索的最佳人工智能平台。到2022 年，专利申请量将达到 340 万件(连续第三年增长)，数据将持续流动，IPRally 可以继续帮助知识产权专业人士找到每一条相关信息。

“通过 GKE 上的 Ray，我们建立了 ML 基础，这证明了 Google Cloud 在 AI 方面的强大功能，” Kallio 说道。 “现在，我们准备探索更先进的深度学习并不断发展。”

完整原文传送门：IPRally如何通过Google Kubernetes Engine和Ray利用AI？-国外VPS网站https://www.vps911.com/gwvpstj/1506.html