如何解析TFRecord的Features数据并获取稀疏矩阵SparseTensor的数据

相信很多小伙伴在解析tensoflow数据的时候都遇到过数据取不出来的问题,尤其是在采用tf.data.TFRecordDataset方法时遇到的解析不了TFRecord的Features的时候。这种数据形式可以通过tf.train.Example()读取出来:
代码

raw_dataset = tf.data.TFRecordDataset(filenames)
for raw_record in raw_dataset.take(3):
    example = tf.train.Example()
    example.ParseFromString(raw_record.numpy())
    # 在这里你就可以打印或者取出对应的记录
    print(example)

打印出来的部分结果如下:

features {
  feature {
    key: "bucketized_user_age"
    value {
      float_list {
        value: 45.0
      }
    }
  }
  feature {
    key: "movie_genres"
    value {
      int64_list {
        value: 7
      }
    }
  }

可是这数据怎么获取呢?可以打印出来,就是存不到数组里,这时候就像知道背上哪块地方痒,都看到了就是挠不到。
于是我先采用了tf.io.parse_example方法,该方法可以将Features结构转化为字典型的Tensor(具体用法大家可以查一下):
代码:

raw_dataset = tf.data.TFRecordDataset(filenames)
# 这里是真正的读取代码
# 因为这个raw_dataset是iterator,可以用take的方法取出对应的N个
features = {
        'movie_id': tf.io.FixedLenFeature([], tf.string),
        "movie_genres": tf.io.VarLenFeature(tf.int64),
}
for raw_record in raw_dataset.take(3):
    example = tf.train.Example()
    example.ParseFromString(raw_record.numpy())
    # 在这里你就可以打印或者取出对应的记录
    # print(example)
    example1 = tf.io.parse_example(example,features);#参数1是序列化的数据集,这里用之前取到的example来测试,参数2是要提取的features集合
    print("example1 =",example1)
    print("type(example) =", type(example))

结果不出意料报错:

ValueError: Attempt to convert a value (features {...}) with an unsupported
 type (<class 'tensorflow.core.example.example_pb2.Example'>) to a Tensor.

这网上关于tf.train.Example()的相关文章本来就少,咋查也查不到啊,于是干脆换成如下方法,读出来了,

features = {
        'movie_id': tf.io.FixedLenFeature([], tf.string),
        'movie_genres': tf.io.VarLenFeature(tf.int64),
}
# Parse features, using the above template.
def parse_record(record):
    return tf.io.parse_single_example(record, features=features)
def read_tf_records():
    filenames = ["movielens-train.tfrecord-00000-of-00001"]
    data = tf.data.TFRecordDataset(filenames)
    data = data.map(parse_record)
    data = data.repeat()
    # Shuffle data.
    # data = data.shuffle(buffer_size=10)
    # Batch data (aggregate records together).
    data = data.batch(batch_size=10)
    # Prefetch batch (pre-load batch for faster consumption).
    data = data.prefetch(buffer_size=1)
    print("type(data) =",type(data))

    for record in data.take(1):
        print("**********************************************************************************")
        print("type(record) is: ", type(record))
        print("生成dataset================================================")
        dataset=tf.data.Dataset.from_tensor_slices(record)
        print("dataset生成完成=============================================")
        print("dataset=",dataset)
        print("==================================================================================")
        print("record[movie_id] is: ",record['movie_id'])
        print("type(record['movie_id'])=",type(record['movie_id']))
        print("record[movie_genres] is: ", record['movie_genres'])
        print("type(record['movie_genres'])=", type(record['movie_genres']))
        print("==================================================================================")
        print(record['movie_id'].numpy())

SparseTensor也不是问题,通过填充稀疏矩阵的方法tf.sparse.to_dense成功读取并通过numpy()转换成数组:

#将稀疏矩阵SparseTensor转换为稠密矩阵DenseTensor
        sparse_movie_genres = record['movie_genres']
        dense_movie_genres = tf.sparse.to_dense(sparse_movie_genres, default_value=0)#矩阵中的缺失值用0填充
        print(dense_movie_genres)
        #tensor转数组
        array_dense_movie_genres = dense_movie_genres.numpy()
        print("tensor转数组")
        print(array_dense_movie_genres)

最终转换结果

tf.Tensor(
[[ 7  0  0  0]
 [ 4 14  0  0]
 [ 4  0  0  0]
 [ 5  7  0  0]
 [10 16  0  0]
 [ 7 16  0  0]
 [ 2  3  4 12]
 [ 0  5 14  0]
 [ 4  0  0  0]
 [ 0  1 15 18]], shape=(10, 4), dtype=int64)
tensor转数组
[[ 7  0  0  0]
 [ 4 14  0  0]
 [ 4  0  0  0]
 [ 5  7  0  0]
 [10 16  0  0]
 [ 7 16  0  0]
 [ 2  3  4 12]
 [ 0  5 14  0]
 [ 4  0  0  0]
 [ 0  1 15 18]]
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
毕业设计,基于SpringBoot+Vue+MySQL开发的公寓报修管理系统,源码+数据库+毕业论文+视频演示 现代经济快节奏发展以及不断完善升级的信息化技术,让传统数据信息的管理升级为软件存储,归纳,集中处理数据信息的管理方式。本公寓报修管理系统就是在这样的大环境下诞生,其可以帮助管理者在短时间内处理完毕庞大的数据信息,使用这种软件工具可以帮助管理人员提高事务处理效率,达到事半功倍的效果。此公寓报修管理系统利用当下成熟完善的Spring Boot框架,使用跨平台的可开发大型商业网站的Java语言,以及最受欢迎的RDBMS应用软件之一的MySQL数据库进行程序开发。公寓报修管理系统有管理员,住户,维修人员。管理员可以管理住户信息和维修人员信息,可以审核维修人员的请假信息,住户可以申请维修,可以对维修结果评价,维修人员负责住户提交的维修信息,也可以请假。公寓报修管理系统的开发根据操作人员需要设计的界面简洁美观,在功能模块布局上跟同类型网站保持一致,程序在实现基本要求功能时,也为数据信息面临的安全问题提供了一些实用的解决方案。可以说该程序在帮助管理者高效率地处理工作事务的同时,也实现了数据信息的整体化,规范化与自动化。 关键词:公寓报修管理系统;Spring Boot框架;MySQL;自动化;VUE
毕业设计,基于SpringBoot+Vue+MySQL开发的社区医院管理系统,源码+数据库+毕业论文+视频演示 信息数据从传统到当代,是一直在变革当中,突如其来的互联网让传统的信息管理看到了革命性的曙光,因为传统信息管理从时效性,还是安全性,还是可操作性等各个方面来讲,遇到了互联网时代才发现能补上自古以来的短板,有效的提升管理的效率和业务水平。传统的管理模式,时间越久管理的内容越多,也需要更多的人来对数据进行整理,并且数据的汇总查询方面效率也是极其的低下,并且数据安全方面永远不会保证安全性能。结合数据内容管理的种种缺点,在互联网时代都可以得到有效的补充。结合先进的互联网技术,开发符合需求的软件,让数据内容管理不管是从录入的及时性,查看的及时性还是汇总分析的及时性,都能让正确率达到最高,管理更加的科学和便捷。本次开发的社区医院管理系统实现了病例信息、字典表、家庭医生、健康档案、就诊信息、前台、药品、用户、用户、用户表等功能。系统用到了关系型数据库中王者MySql作为系统的数据库,有效的对数据进行安全的存储,有效的备份,对数据可靠性方面得到了保证。并且程序也具备程序需求的所有功能,使得操作性还是安全性都大大提高,让社区医院管理系统更能从理念走到现实,确确实实的让人们提升信息处理效率。 关键字:社区医院管理系统;信息管理,时效性,安全性,MySql
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值