Tensorflow：tf-record处理矩阵或张量数据方法及注意事项

    写这个博客的关键Bug: Input to reshape is a tensor with xxx values, but the requested shape has xxx。本文的先验知识为：tensorflow中tfrecord的创建和导入。

 

问题引入

    tensorflow feature类型只接受list数据，但如果数据类型是矩阵或者张量该如何处理？

    比如我们当前的任务是：目标检测，那就需要我们在tf-record中记录每张图片对应的bounding box的信息。一个bounding box的形状为(1, 4)，本身就是list数据，可直接使用。但是一张图片可能对应多个bouning box， 所以形状应该为(?, 4)，这是个变长，那么该如何保存呢？假设我们要保存的bouning box如下：

bbox= np.array([[10, 20, 30 ,40],
                [10, 20, 20, 20]])

方案一

• 转换成list类型，再用list的方式写入
• 记录形状信息

# 写入矩阵，类型float，将矩阵转化为list，并记录形状信息
features['bbox'] = tf.train.Feature(float_list=tf.train.FloatList(value=bbox.reshape(-1)))
features['bbox_shape'] = tf.train.Feature(int64_list=tf.train.Int64List(value=bbox.shape))

    将bbox保存到tfrecord中后，同样需要解析出来，代码如下：

dics = {'bbox': tf.VarLenFeature(dtype=tf.float32),
        'bbox_shape': tf.FixedLenFeature(shape=(2,), dtype=tf.int64)}

parsed_example = tf.parse_single_example(example_proto, dics)

# 使用VarLen解析bbox，得到的是稀疏tensor，需要转换
parsed_example['bbox'] = tf.sparse_tensor_to_dense(parsed_example['bbox'])
# 根据存储的shape还原形状
parsed_example['bbox'] = tf.reshape(parsed_example['bbox'], parsed_example['bbox_shape'])

    在方案一中，我们并没有遇到文章开始就提示的BUG。

 

方案二

• 使用.tostring()将张量转换成string类型
• 记录形状信息，方便恢复

# 将bbox转化为字符类型存储，随后转化为原类型
features['bbox'] = tf.train.Feature(bytes_list=tf.train.BytesList(value=[bbox.tostring()]))
features['bbox_shape'] = tf.train.Feature(int64_list=tf.train.Int64List(value=bbox.shape))

    同样，我们需要解析出来

disc = {'bbox': tf.FixedLenFeature(shape=(), dtype=tf.string),
        'bbox_shape': tf.FixedLenFeature(shape=(2,), dtype=tf.int64)}

parsed_example = tf.parse_single_example(example_proto, dics)

# string类型需要tf.decode_raw(parsed_feature, type)解码，这里的type强烈关注
parsed_example['bbox'] = tf.decode_raw(parsed_example['bbox'], tf.uint16)
# 还原形状
parsed_example['bbox'] = tf.reshape(parsed_example['bbox'], parsed_example['bbox_shape'])

注：需要保证数据格式与解析格式的一致.

如果原数据是由 tf.float32 类型再进行 to_bytes 写入，则tf.decode_raw解码时则也需要使用 tf.float32 数据类型.

如果不一致，会出现 Input to reshape is a tensor with xxx values, but the requested shape has xxx 的类似错误。而我这里的bbox是tf.uint16类型写入的，所以解析的时候需要使用tf.uint16。

 

总结

    本片博客，我们通过一个Bug引入问题，并详细解释了Bug的来源及处理方法，希望对大家有所帮助。若是大家依旧遇到类似的问题，可以留言，定期回复！

备注：本文为作者原创，转载需注明出处！