如果想在pyspark中 import tensorflow 来调用pb模型 分布式预测,那么将模型pb全部文件打包成tar包sc.addFile即可,spark会自动解析。
pb_path = "../xxx_20221101.tar"
sc.addFile(pb_path)
path = SparkFiles.get("xxx_20221101")
with tf.Session() as sess:
tf.saved_model.loader.load(sess, [tf.saved_model.tag_constants.SERVING], path)
predictor = tf.contrib.predictor.from_saved_model(path)