TensorFlow Serving MultiInference 详解

TensorFlow Serving MultiInference 详解

TensorFlow Serving PredictionService 支持以下 rpc 请求：

 15 service PredictionService {
 16   // Classify.
 17   rpc Classify(ClassificationRequest) returns (ClassificationResponse);
 18
 19   // Regress.
 20   rpc Regress(RegressionRequest) returns (RegressionResponse);
 21
 22   // Predict -- provides access to loaded TensorFlow model.
 23   rpc Predict(PredictRequest) returns (PredictResponse);
 24
 25   // MultiInference API for multi-headed models.
 26   rpc MultiInference(MultiInferenceRequest) returns (MultiInferenceResponse);
 27
 28   // GetModelMetadata - provides access to metadata for loaded models.
 29   rpc GetModelMetadata(GetModelMetadataRequest)
 30       returns (GetModelMetadataResponse);
 31 }

这里主要介绍 MultiInference 这个 rpc。MultiInference 是使用一份数据请求多个模型的 rpc。

相关 pb 定义如下：