TensorFlow通用模板(1) 数据导入

一直想写这个系列很久了。由于工作上遇到的一些事情,让我觉得做算法,最重要的是要方便实验,尽快的出结果,与其做一个大而全的框架,不如做一个简洁通用的模板,毕竟,算法阶段最重要的是结果。我的工作也是给一个模型出去。

这个系列以CS230为参考,这里感谢无限的网络资源~
https://cs230-stanford.github.io/

图像出身,以图像相关为例

流程

1. imgs文件夹存放所有的图片,annos文件夹存放所有的标注
2. 生成images,labels的txt文件 利用tf.data.Dataset.from_tensor_slices()读取数据
3. shuffle 数据
4. 读取图片和标签,处理成自己要的格式
5. 数据增强,利用多线程加速预处理等
6. 批量化数据
7. Prefetch 1 个batch,为了满足num/batch不为整数的情况

实现细节

第一部分:从xml文件里解析目标检测的标注(可根据自己需要定制)

import tensorflow as tf
import xml.etree.ElementTree as ET
import numpy as np


# Must do before Session()
def _parse_label(label):
    """Obtain label_list from label(for both training and validation)
        Example for
            - Decode label from xml file (for object detection)

    """

    label_value = []
    tree = ET.parse(label)
    root = tree.getroot()
    for member in root.findall('object'):
        value = [root.find('filename').text,
                 int(root.find('size')[0].text),
                 int(root.find('size')[1].text),
                 member.find('name').text,
                 int(member.find('bndbox')[0].text
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值