PyTorch Serve 开源项目教程

最新推荐文章于 2024-08-22 08:57:48 发布

童福沛

最新推荐文章于 2024-08-22 08:57:48 发布

阅读量901

点赞数 6

本文链接：https://blog.csdn.net/gitblog_01132/article/details/141044851

版权

PyTorch Serve 开源项目教程

serveServe, optimize and scale PyTorch models in production项目地址:https://gitcode.com/gh_mirrors/serv/serve

1. 项目的目录结构及介绍

PyTorch Serve 项目的目录结构如下：

serve/
├── README.md
├── setup.py
├── ts/
│   ├── frontend/
│   ├── model-server/
│   ├── nginx-connector/
│   ├── torch_model_archiver/
│   └── ...
├── examples/
│   ├── densenet_pytorch/
│   ├── mnist/
│   └── ...
├── docs/
│   ├── CONTRIBUTING.md
│   ├── DEVELOPMENT_GUIDE.md
│   └── ...
└── ...

目录结构介绍

README.md: 项目介绍和基本使用说明。
setup.py: 项目安装脚本。
ts/: 核心代码目录，包含前端、模型服务器、Nginx 连接器等。
- frontend/: 前端代码。
- model-server/: 模型服务器代码。
- nginx-connector/: Nginx 连接器代码。
- torch_model_archiver/: 模型打包工具代码。
examples/: 示例代码，包含不同模型的部署示例。
docs/: 文档目录，包含贡献指南、开发指南等。

2. 项目的启动文件介绍

项目的启动文件主要位于 ts/model-server/ 目录下，关键文件包括：

main.py: 主启动文件，负责启动模型服务器。
config.properties: 配置文件，定义服务器的基本配置。

启动文件介绍

main.py:

from ts.model_server import start_torchserve

if __name__ == "__main__":
    start_torchserve()

该文件调用 start_torchserve 函数启动模型服务器。

config.properties:
```
inference_address=http://0.0.0.0:8080
management_address=http://0.0.0.0:8081
...
```
该文件定义了服务器的推理地址、管理地址等基本配置。

3. 项目的配置文件介绍

项目的配置文件主要位于 ts/model-server/ 目录下，关键配置文件包括：

config.properties: 基本配置文件。
model-store/: 模型存储目录，包含已打包的模型文件。

配置文件介绍

config.properties:
```
inference_address=http://0.0.0.0:8080
management_address=http://0.0.0.0:8081
...
```
该文件定义了服务器的推理地址、管理地址等基本配置。
model-store/:
```
model-store/
├── densenet161.mar
├── resnet18.mar
└── ...
```
该目录存储已打包的模型文件，每个 .mar 文件对应一个模型。

通过以上介绍，您可以更好地理解和使用 PyTorch Serve 开源项目。

serveServe, optimize and scale PyTorch models in production项目地址:https://gitcode.com/gh_mirrors/serv/serve