AWS推出用于PyTorch的开源模型服务器

亚马逊网络服务（AWS）推出了一个名为TorchServe的开源工具，用于服务PyTorch机器学习模型。 AWS由AWS与开发PyTorch的Facebook合作维护TorchServe，并可作为GitHub上PyTorch项目的一部分提供。

TorchServe于4月21日发布，旨在简化在生产环境中大规模部署PyTorch模型的过程。 目标包括低延迟的轻量级服务和高性能推理。

[ 同样在InfoWorld上：选择PyTorch进行深度学习的5个理由 ]

TorchServe的主要功能包括：

• 常见应用程序的默认处理程序，例如对象检测和文本分类，使用户不必编写自定义代码即可部署模型。
• 多模式投放。
• 用于A / B测试的模型版本控制。
• 监控指标。
• 用于应用程序集成的RESTful端点。

TorchServe可以支持任何部署环境，包括Kubernetes，Amazon SageMaker，Amazon EKS和Amazon EC2。 TorchServe在Ubuntu Linux或MacOS上需要Java 11。 详细的安装说明可以在GitHub上找到。

From: https://www.infoworld.com/article/3540415/aws-unveils-open-source-model-server-for-pytorch.html