深度学习编程笔记2：搭建网络八股之自制数据集

代码中难点

1. readline()方法：从字面意思可以看出，该方法每次读出一行内容，所以，读取时占用内存小，比较适合大文件，该方法返回一个字符串对象。
   相对于把text文件中刑如2028_7.jpg 7的数据一行行读入存到contents中
2. 其余的写在程序中

代码

import tensorflow as tf
from PIL import Image
import numpy as np
import os

train_path = './mnist_image_label/mnist_train_jpg_60000/'
train_txt = './mnist_image_label/mnist_train_jpg_60000.txt'
x_train_savepath = './mnist_image_label/mnist_x_train.npy'
y_train_savepath = './mnist_image_label/mnist_y_train.npy'

test_path = './mnist_image_label/mnist_test_jpg_10000/'
test_txt = './mnist_image_label/mnist_test_jpg_10000.txt'
x_test_savepath = './mnist_image_label/mnist_x_test.npy'
y_test_savepath = './mnist_image_label/mnist_y_test.npy'


def generateds(path, txt):
    f = open(txt, 'r')  # 以只读形式打开txt文件
    contents = f.readlines()  # 读取文件中所有行
    f.close()  # 关闭txt文件
    x, y_ = [], []  # 建立空列表
    for content in contents:  # 逐行取出
        # 因为数据是比如其中一个2028_7.jpg 7，中间会有一个空格，下面这句话就是把图片x和结果y通过识别中间的空格分开
        value = content.split()  # 以空格分开，图片路径为value[0] , 标签为value[1] , 存入列表,以空格为分隔符，包含 \n
        img_path = path + value[0]  # 拼出图片路径和文件名
        # 字符串的加法path + value[0]就是./mnist_image_label/mnist_test_jpg_10000/＋2028_7.jpg，
        # img_path就是'./mnist_image_label/mnist_test_jpg_10000/2028_7.jpg'
        img = Image.open(img_path)  # 读入图片
        #  模式“L”
        #  为灰色图像，它的每个像素用8个bit表示，0表示黑，255表示白，其他数字表示不同的灰度。
        # 在PIL中，从模式“RGB”转换为“L”模式是按照下面的公式转换的：
        img = np.array(img.convert('L'))  # 图片变为8位宽灰度值的np.array格式
        img = img / 255.  # 数据归一化 （实现预处理）
        x.append(img)  # 归一化后的数据，贴到列表x

        y_.append(value[1])  # 标签贴到列表y_
        print('loading : ' + content)  # 打印状态提示

    x = np.array(x)  # 变为np.array格式
    y_ = np.array(y_)  # 变为np.array格式
    y_ = y_.astype(np.int64)  # 变为64位整型
    return x, y_  # 返回输入特征x，返回标签y_