nvidia triton server 快速启动随记

0、环境

1)ubuntu20.04
2)docker
3)cuda 11.5
4)jetson4.6.1
5)T4 和驱动

1、quickstart:

1)NVIDIA Container Toolkit

curl https://get.docker.com | sh \
  && sudo systemctl --now enable docker

distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
      && curl -s -L https://nvidia.github.io/libnvidia-container/gpgkey | sudo apt-key add - \
      && curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
      
      curl -s -L https://nvidia.github.io/libnvidia-container/experimental/$distribution/libnvidia-container.list | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
      
      如果出现Unsupported distribution! 设置distribution=ubuntu18.04 ,原因:20.04的版本中还没有这个。
      
sudo apt-get update
sudo apt-get install -y nvidia-docker2
sudo systemctl restart docker
sudo docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi

2)server code

git clone https://github.com/triton-inference-server/server.git
cd server/docs/examples
./fetch_models.sh
model_repository=$(pwd)/model_repository

3)server docker 

docker pull nvcr.io/nvidia/tritonserver:22.03-py3
docker run --gpus=1 --rm -p8000:8000 -p8001:8001 -p8002:8002 -v/$model_repository:/models nvcr.io/nvidia/tritonserver:22.03-py3 tritonserver --model-repository=/models

4)test health

curl -v localhost:8000/v2/health/ready
输出:HTTP/1.1 200 OK

5)client examples

docker pull nvcr.io/nvidia/tritonserver:22.03-py3-sdk
/workspace/install/bin/image_client -m densenet_onnx -c 3 -s INCEPTION /workspace/images/mug.jpg
输出识别结果

2、model repository

1)model management
  model control:    NONE (dfault)
                    POLL  --model-control-mode=poll --repository-poll-secs = 100
                    EXPLICIT 支持model control protocol,HTTP/REST GRPC
 
  tritonserver --model-repository=<model-repository-path> --model-control-mode=none
  
2)repository layout:
  <model-repository-path>/
    <model-name>/
      [config.pbtxt]
      [<output-labels-file> ...]
      <version>/
        <model-definition-file>
      <version>/
        <model-definition-file>
      ...
    <model-name>/
      [config.pbtxt]
      [<output-labels-file> ...]
      <version>/
        <model-definition-file>
      <version>/
        <model-definition-file>
      ...
    ...
    
    模型目录名大于0的为有效版本
    
    eg: TensorRT model     
      <model-repository-path>/
            <model-name>/
                config.pbtxt
                1/
                    model.plan
                    
    eg: ONNX Models
        <model-repository-path>/
            <model-name>/
                config.pbtxt
                1/
                    model.onnx
                    
    eg: Python Models 
        <model-repository-path>/
            <model-name>/
                config.pbtxt
                1/
                    model.py

3)Model Configuration    
    config.pbtxt
    curl localhost:8000/v2/models/<model name>/config
    
    max_batch_size > 0 the full shape is formed as [ -1 ] + dims
    max_batch_size == 0 the full shape is formed as dims
    
    Auto-Generated Model Configuration
    --strict-model-config=false 
    
    

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Triton Server是一个用于部署机器学习模型的开源平台,支持多种框架(如TensorFlow、PyTorch、ONNX等)和多种部署方式(如RESTful API、gRPC等)。以下是Triton Server的安装和使用教程: 1. 安装NVIDIA CUDA和cuDNN Triton Server依赖于NVIDIA CUDA和cuDNN,因此需要先安装它们。具体安装步骤可参考官方文档:https://docs.nvidia.com/cuda/index.html 和 https://docs.nvidia.com/deeplearning/cudnn/install-guide/index.html 。 2. 下载Triton Server 可以从Triton Server的GitHub仓库下载最新版本:https://github.com/triton-inference-server/server 。 3. 安装Triton Server Triton Server的安装非常简单,只需解压缩下载的压缩包即可。 ``` $ tar xzf tritonserver-2.6.0-linux-x86_64.tar.gz ``` 4. 配置模型 Triton Server通过配置文件来加载和部署模型。可以参考官方文档中的模型配置示例(https://github.com/triton-inference-server/server/tree/main/docs/examples/model_repository )来创建自己的配置文件。配置文件将指定模型的路径、输入和输出张量的名称和形状、部署方式等信息。 5. 启动Triton Server 启动Triton Server非常简单,只需运行以下命令即可: ``` $ ./tritonserver-2.6.0/bin/tritonserver --model-repository=/path/to/model/repository ``` 其中,--model-repository参数指定了存放模型的目录。 6. 使用Triton Server 启动Triton Server后,可以通过RESTful API或gRPC接口来部署和查询模型。具体使用方法可参考官方文档:https://github.com/triton-inference-server/server 。 希望这些步骤能够帮助您安装和使用Triton Server
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值