一般说法:
input_signature的好处:
- 可以限定函数的输入类型,以防止调用函数时调错
- 一个函数有了input_signature之后,在tensorflow里边才可以保存成savedmodel。在保存成savedmodel的过程中,需要使用get_concrete_function函数把一个tf.function标注的普通的python函数变成带有图定义的函数
两种方式:
- tf.function中直接给函数添加函数签名
- get_concrete_function给函数添加签名
# 第一种方式
# 需要严格按照tf.TensorSpec ( shape, dtype=tf.dtypes.float32, name=None )输入
# 否则报错
@tf.function(input_signature=[tf.TensorSpec([5], tf.int32, name='x')])
def cube(z):
return tf.pow(z, 3)
try:
print(cube(tf.constant([1, 2, 3])))
except ValueError as ex:
print(ex)
try:
print(cube(tf.constant([1, 2, 3])))
except ValueError as ex:
print(ex)
print(cube(tf.constant([1, 2, 3,4,5])))
输出:
Python inputs incompatible with input_signature:
inputs: (
tf.Tensor([1 2 3], shape=(3,), dtype=int32))
input_signature: (
TensorSpec(shape=(5,), dtype=tf.int32, name='x'))
tf.Tensor([ 1 8 27 64 125], shape=(5,), dtype=int32)
cube_func_int32 = cube.get_concrete_function(
tf.TensorSpec([5], tf.int32))
print(cube_func_int32)
输出:
<tensorflow.python.eager.function.ConcreteFunction object at
0x000001952B6B7208>
使用经验:
当一个函数被@tf.function 修饰后 ,get_concrete_function 然后传入原函数的参数进行调用获取函数句柄,并没有真实的数据传进去,含有数据的参数被tf.TensorSpec(shape=(None,), dtype=tf.string),所替换
#函数定义,添加了tf.function 即加入了input_signature
@tf.function
def __call__(self, sample, mode=Mode.Train, stop_embedding_gradient=False):
model_serve_func = model.__call__.get_concrete_function(
sample=tf.TensorSpec(shape=(None,), dtype=tf.string),
mode=Mode.Predict,stop_embedding_gradient=False)
signatures = {tf.saved_model.DEFAULT_SERVING_SIGNATURE_DEF_KEY: mdoel_serve_func}
tf.saved_model.save(model, save_path, signatures)
还有个例子也是讲 将一个普通函数保存为saved_model
首先将一个普通函数转换成具有静态图结构的函数,也即使用@tf.function装饰一下;然后给函数添加函数签名,可以采用以上提到的两种方式添加,这里采取第二种;第三步就可以按照开始保存了,下面有具体的操作方式。
saved_model 能够将tf.function修饰的函数保存,这个函数必须在一个tf.Module()
@tf.function
def cube(z):
return tf.pow(z, 3)
cube_func_int32 = cube.get_concrete_function(
tf.TensorSpec([None], tf.int32)).
print(cube(tf.constant([1, 2, 3])))
输出:
tf.Tensor([ 1 8 27], shape=(3,), dtype=int32)
to_export = tf.Module()
#相当于把这个cube函数当做属性给了model,而model可以保存和加载,cube不能保存和加载
#所以相当于起到了一个桥梁作用,也即最后加载过来之后,使用的还是model.cube()
to_export.cube = cube_func_int32
tf.saved_model.save(to_export, os.path.join("signature_to_saved_model"))
model= tf.saved_model.load('./signature_to_saved_model')
model.cube(tf.constant([2]))
输出:
<tf.Tensor: shape=(1,), dtype=int32, numpy=array([8])>