Tensorboard查看VGG

1.导入数据包:cifar-10-batches-py

import tensorflow as tf
import os
import pickle as pk
import numpy as np

CIFAR_DIR = "./cifar-10-batches-py/"
print (os.listdir(CIFAR_DIR)) # listdir--返回指定的文件夹包含的文件或文件夹的名字的列表。

2.读取数据并处理

def load_data(filename):
    '''从数据文件中读取数据'''
    with open(filename, 'rb') as f:
        data = pk.load(f , encoding='bytes')
        return data[b'data'],data[b'labels']
    
class CifarData:
    '''数据处理'''
    def __init__(self, filenames, need_shuffle):
        # need_shuffle 打乱数据集, 是数据之间没有相互依赖关系
        
        all_data = []
        all_labels = []
        
        for filename in filenames:
            data , labels = load_data(filename)
            all_data.append(data)
            all_labels.append(labels)
                    
        self._data = np.vstack(all_data) # 纵向合并为矩阵
        self._data = self._data / 127.5 - 1 # 相当于归一化 ,因为像素是255
        self._labels = np.hstack(all_labels)
        print(self._data.shape)
        print(self._labels.shape)
        
        self._num_examples = self._data.shape[0]
        self._need_shuffle = need_shuffle
        self._indicator = 0 # 当前数据遍历到哪个位置
        if self._need_shuffle:
            self._shuffle_data()
    
    def _shuffle_data(self):
        '''打乱数据'''
        p = np.random.permutation(self._num_examples) # 做混排,eg:[0,1,2,3,4,5] --> [5,3,2,4,0,1]
        self._data = self._data[p]
        self._labels = self._labels[p]
        
    def next_batch(self, batch_size):
        '''返回batch_size个样本'''
        end_indicator = self._indicator + batch_size
        if end_indicator > self._num_examples:
            if self._need_shuffle:
                self._shuffle_data()
                self._indicator = 0
                end_indicator = batch_size
            else:
                raise Exception('have no more examples')
        if end_indicator > self._num_examples:
            raise Exception('batch size in larger than all examples')
        batch_data = self._data[self._indicator:end_indicator]
        batch_labels = self._labels[self._indicator: end_indicator]
        self._indicator = end_indicator
        return batch_data, batch_labels
    
train_filenames
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值