tritonserver学习之三：tritonserver运行流程

tritonserver学习之一：triton使用流程

tritonserver学习之二：tritonserver编译

tritonserver学习之四：命令行解析

tritonserver学习之五：backend实现机制

tritonserver学习之六：自定义c++、python custom backend实践  

tritonserver学习之七：cache管理器

tritonserver学习之八：redis_caches实践

tritonserver学习之九：tritonserver grpc异步模式

1、triton启动运行流程

triton功能设计全面，而且复杂，下面是triton(2.41.0)启动的整个流程，在整个pipeline中，每个节点都需要去仔细的研究和学习，不仅能够学到关于异构计算的需要知识，而且还能学到c++很多精巧的设计，总流程如下：

2、节点说明

在上述流程图中，每个节点基本都对应代码中的一个模块，比如命令行处理部分，主要有类：

triton::server::TritonParser

完成，命令行的设计、注册、解析等功能都在这个类里。

又比如模型管理器，其只要功能有类：

TritonRepoAgentManager

完成，这些代码基本都分布在：core代码中，是tritonserver的核心代码，后面对triton的学习和探索，基本就按照这个流程图进行，有全局，有局部，这样思路会比较清晰。