最近学习tensorflow-神经网络,感觉这个很有趣,加深了自己对tensorflow-神经网络的兴趣,这里是基于tensorflow-神经网络的验证码生成以及生成tfrecord文件:
1.利用captcha生成验证码图片,可以是0-9的数字,也可以是a-z的字母,验证码图片上数字或者字母的个数由自己设置,我在这里设置的是4位数,生成验证码的图片数量可由自己设置,我在这里设置的是10000张,但生成的只有6000多张,则说明剩下的3000多张是重复的图片,注意一定要把放置图片的路径设置好。
①验证码生成库
from captcha.image import ImageCaptcha
import numpy as np
from PIL import Image
import random
import sys
②根据自己所需生成数字或是字母的验证码,以及图片上的数量
number=['0','1','2','3','4','5','6','7','8','9']
# alphabet=['a','b','c','d','e','f','g','h','i','j','k','l','m','n','o','p','q','r','s','t','u','v','w','x','y','z']
#ALPHABET=['A','B','C','D','E','F','G','H','I','G','K','L','M','N','O','P','Q','R','S','T','U','V','W','X','Y','Z']
def random_captcha_text(char_set=alphabet,captcha_size=4):
#验证码列表
captcha_text=[]
for i in range(captcha_size):
#随机选择
c=random.choice(char_set)
#加入验证码列表
captcha_text.append(c)
return captcha_text
③生成字符对应的验证码
def gen_captcha_text_and_image():
image=ImageCaptcha()
#获得随机生成的验证码
captcha_text=random_captcha_text()
#把验证码列表转为字符串
captcha_text=''.join(captcha_text)
#生成验证码
captcha=image.generate(captcha_text)
#写到文件
image.write(captcha_text,'captcha/images0/'+captcha_text+'.jpg')
#数量少于10000,因为重名
num=10000
if __name__=='__main__':
for i in range(num):
gen_captcha_text_and_image()
sys.stdout.write('\r>> Creating image %d/%d'%(i+1,num))
sys.stdout.flush()
sys.stdout.write('\n')
sys.stdout.flush()
print("生成完毕")
2.生成验证码的图片如下:
3.生成tfrecord文件
①导入相关的库以及设置文件路径
import tensorflow as tf
import numpy as np
from PIL import Image
import os
import random
import sys
#验证集数量
_NUM_TEST = 500
#随机种子
_RANDOM_SEED = 0
#数据集路径
DATASET_DIR = 'tfrecord/images/'
#tfrecord文件存放路径
TFRECORD_DIR = 'tfrecord/tfrecord/'
②判断tfrecord文件是否存在(由于我用的是tensorflow2.0版本,所以再调用方法时会写成tf.compat.v1.X,如果不是此版本,则可以写成tf.X就行)
def _dataset_exists(dataset_dir):
for split_name in ['train', 'test']:
output_filename = os.path.join(dataset_dir, split_name + 'tfrecords')
if not tf.compat.v1.gfile.Exists(output_filename):
return False
return True
③获取验证码图片
def _get_filenames_and_classes(dataset_dir):
photo_filenames = []
for filename in os.listdir(dataset_dir):
#获取文件路径
path = os.path.join(dataset_dir, filename)
photo_filenames.append(path)
return photo_filenames
def int64_feature(values):
if not isinstance(values,(tuple,list)):
values=[values]
return tf.train.Feature(int64_list=tf.train.Int64List(value=values))
def bytes_feature(values):
return tf.train.Feature(bytes_list=tf.train.BytesList(value=[values]))
def image_to_tfexample(image_data, label0, label1, label2, label3):
return tf.train.Example(features=tf.train.Features(feature={
'image':bytes_feature(image_data),
'label0':int64_feature(label0),
'label1':int64_feature(label1),
'label2':int64_feature(label2),
'label3':int64_feature(label3),
}))
④数据转化为tfrecord格式
def _convert_dataset(split_name, filenames, dataset_dir):
assert split_name in ['train', 'test']
with tf.compat.v1.Session() as sess:
#定义tfrecord文件的路径和名字
output_filename = os.path.join(TFRECORD_DIR, split_name + '.tfrecords')
with tf.compat.v1.python_io.TFRecordWriter(output_filename) as tfrecord_writer:
for i, filename in enumerate(filenames):
try:
sys.stdout.write('\r>>转换图片 %d / %d' % (i+1, len(filenames)))
sys.stdout.flush()
#读取图片
image_data = Image.open(filename)
#根据模型结构resize
image_data = image_data.resize((224, 224))
#灰度化
image_data = np.array(image_data.convert('L'))
#将图片转换为bytes
image_data = image_data.tobytes()
#获取lables
labels = filename.split('/')[-1][0:4]
num_labels = []
for j in range(4):
num_labels.append(int(labels[j]))
#生成protocol数据类型
example = image_to_tfexample(image_data, num_labels[0],num_labels[1],num_labels[2],num_labels[3])
tfrecord_writer.write(example.SerializeToString())
except IOError as e:
print('\n不能读取:' , filename)
print('Error:' , e)
print('跳过 \n')
sys.stdout.write('\n') #和print是一个意思
sys.stdout.flush() # 一秒显示一次结果,一般都是程序执行完才显示结果
④判断tfrecord文件是否存在
if _dataset_exists(DATASET_DIR):
print('file already exists')
else:
#获得所有图片
photo_filenames= _get_filenames_and_classes(DATASET_DIR)
#把数据分为测试集和训练集,并且打乱
random.seed(_RANDOM_SEED)
random.shuffle(photo_filenames)
training_filenames = photo_filenames[_NUM_TEST:]
testing_filenames = photo_filenames[:_NUM_TEST]
#数据转换为tfrecord
_convert_dataset('train',training_filenames,DATASET_DIR)
_convert_dataset('test',testing_filenames,DATASET_DIR)
print('-------------生成tfrecord文件结束------------------')
4.运行结果展示