Batched output tensor's 0th dimension does not equal the sum of the 0th dimension sizes of the input

最近在部署GPU版的Tersorflow_Serving 服务，遇到这个问题，经过查询，是规定是否可以batch输入的时候，我设置为了TRUE.

docker run -p 8503:8503 \
  --mount type=bind,source=/root/tfserving/models,target=/models \
  -t --entrypoint=tensorflow_model_server tensorflow/serving:1.9.0-devel-gpu \
  --port=8503  \
  --enable_batching \  #其实这个不需要，所以删除了就好
  --model_name=saved_model.pb --model_base_path=/models

应该是输入输出不一致，输出是按照batch输出，不用batch ，按单个输出

docker run -p 8503:8503 \
  --mount type=bind,source=/root/tfserving/models,target=/models \
  -t --entrypoint=tensorflow_model_server tensorflow/serving:1.9.0-devel-gpu \
  --port=8503  \
  # --enable_batching \ 其实这个不需要，所以删除了就好
  --model_name=saved_model.pb --model_base_path=/models

这样就好了