tfx.Trainer组件数据读入和数据增强

本文探讨了在TFX的Trainer组件中如何进行图像数据增强,尽管TFX目前仍处于不断发展阶段,存在功能不完善的情况,但作者尝试在项目中应用数据增强,主要针对图像数据。
摘要由CSDN通过智能技术生成

最近研究tfx,感觉做的还不够成熟,很多功能都有欠缺,官网上也没有实用的案例。

tfx trainer组件中加入数据增强,这里是图像增强。

#!/usr/bin/env python
# coding: utf-8

import tensorflow as tf
import numpy as np
import sys
import time
import matplotlib.pyplot as plt
import os
from tensorflow_metadata.proto.v0 import schema_pb2
from tfx.utils import io_utils
from tensorflow_transform.tf_metadata import schema_utils


FILE_NAME = 'tft.gz'
IMAGE_KEY = 'image_data_xf'
LABEL_KEY = 'image_label_xf'
schema_file = 'schema.pbtxt'

def _gzip_reader_fn(filenames):
  return tf.data.TFRecordDataset(filenames, compression_type='GZIP')

schema = io_utils.parse_pbtxt_file(schema_file, schema_pb2.Schema())
schema = schema_utils.schema_as_feature_spec(schema).feature_spec

'''tfx Trainer input_fn'''
# return a dataset shuffled batched repeated B U T not processed! can not do data augmented 
dat
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值