keras实现验证码识别

1.captcha 可以生成语音和图片验证码，我们采用生成图片验证码功能，验证码是由数字、大写字母组成。pip install captcha

from captcha.image import ImageCaptcha
import matplotlib.pyplot as plt
%matplotlib inline
import numpy as np
import random
import string

%config InlineBackend.figure_format='retina'

characters=string.digits+string.ascii_uppercase#验证码的元素含有数字和大写字母
print(characters)#0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZ
len(characters)#36
width,height,n_len,n_class=170,80,4,len(characters)#验证码宽高长度和元素类别数
generator=ImageCaptcha(width=width,height=height)#生成空白验证码图片对象
random_str=''.join([random.choice(characters) for j in  range(4)])#随机生成4个元素，用空字符串链接
img=generator.generate_image(random_str)#验证码图片对象上生成元素
plt.imshow(img)
#img=np.array(img)
#cv2.imwrite(r'D:\DeepLearning\captcha.jpg',img)
plt.title(random_str)

2.开始为实验创建数据生成器

#为了让 Keras 能够使用多进程并行生成数据，我们需要使用 Keras 的 Sequence 类实现一个我们自己的数据类。
from tensorflow.keras.utils import Sequence
class CaptchaSequence(Sequence):
    def __init__(self,characters,batch_size,steps,n_len=4,width=170,height=80):
        self.characters=characters
        self.batch_size=batch_size
        self.steps=steps
        self.n_len=n_len
        self.width=width
        self.height=height
        self.n_class=len(characters)
        self.generator=ImageCaptcha(width=width,height=height)#验证码图片对象
    def __len__(self):
        return self.steps
    def __getitem__(self,idx):
        x=np.zeros((self.batch_size,self.height,self.width,3),dtype=np.float32)#初始化图片数据全是0，按固定输入维度
        y=[np.zeros((self.batch_size, self.n_class), dtype=np.uint8) for i in range(self.n_len)]#初始化4个输出[4个输出层，batch_size,n_classes]
        for i in range(self.batch_size):#在一个batch中循环生成batch_size个数据
            random_str=''.join([random.choice(self.characters) for j in range(self.n_len)])#随机生成每个captcha的4个元素
            x[i]=np.array(self.generator.generate_image(random_str))/255.0#对象生成验证码

            for j,ch in enumerate(random_str):
                y[j][i,:]=0#在一个batch中的第i个图片中，第j个输出的所有类别（36）输出都是0
                y[j][i,self.characters.find(ch)]=1#第j个输出的第ch维输出是1
        #print((np.array(x)).shape)
        return x,y

#实例化数据生成器，并且解码输出
def decode(y):
    y=np.argmax(np.array(y),axis=2)[:,0]
    return ''.join([characters[x] for x in y])
data=CaptchaSequence(characters,batch_size=1,steps=1)
x,y=data[0]

plt.imshow(x[0])
plt.title(decode(y))

3.创建网络并训练

#卷积网络
from tensorflow.keras.models import *
from tensorflow.keras.layers import *
input_tensor=Input((height,width,3))
x=input_tensor
print(x.shape)
for i,n_cnn in enumerate([2,2,2,2,2]):
    for j in range(n_cnn):
        x=Conv2D(32*2**min(i,3),kernel_size=3,padding='same',kernel_initializer='he_uniform')(x)
        x=BatchNormalization()(x)
        x=Activation('relu')(x)
    x=MaxPooling2D(2)(x)
    
x=Flatten()(x)
x=[Dense(n_class,activation='softmax',name='c%d'%(i+1))(x) for i in range(n_len)]
model=Model(inputs=input_tensor,outputs=x)

#模型可视化，pip install pydot ， graphviz ，pydot-ng
from tensorflow.keras.utils import plot_model
from IPython.display import Image

plot_model(model, to_file='cnn.png', show_shapes=True)
Image('cnn.png')

#模型训练
from tensorflow.keras.callbacks import EarlyStopping,CSVLogger,ModelCheckpoint
from tensorflow.keras.optimizers import *
train_data=CaptchaSequence(characters,batch_size=128,steps=10)
valid_data=CaptchaSequence(characters,batch_size=128,steps=1)
callbacks=[EarlyStopping(patience=3),CSVLogger('cnn.csv'),ModelCheckpoint('cnn_best.h5',save_best_only=True)]
model.compile(loss='categorical_crossentropy',optimizer=Adam(1e-3,amsgrad=True),metrics=['accuracy'])
model.fit_generator(train_data,epochs=10,validation_data=valid_data,callbacks=callbacks)

4.测试

#模型测试
x,y=data[0]
y_pred=model.predict(x)
plt.title('real:%s\npred:%s'%(decode(y),decode(y_pred)))
plt.imshow(x[0],cmap='gray')
plt.axis('off')

5.计算准确率并保存模型

#计算模型准确率
from tqdm import tqdm
#Tqdm 是一个快速，可扩展的Python进度条，可以在 Python 长循环中添加一个进度提示信息，用户只需要封装任意的迭代器 tqdm(iterator)。
def evaluate(model, batch_num=100):
    batch_acc = 0
    with tqdm(CaptchaSequence(characters, batch_size=128, steps=100)) as pbar:
        for X, y in pbar:
            y_pred = model.predict(X)
            y_pred = np.argmax(y_pred, axis=-1).T
            y_true = np.argmax(y, axis=-1).T

            batch_acc += (y_true == y_pred).all(axis=-1).mean()
    return batch_acc / batch_num

evaluate(model)
#保存
model.save('captcha_model.h5')

6.实际图片进行预测

import cv2

#进行实际预测
from keras.models import load_model
model=load_model('captcha_model.h5')
print("导入模型完成")
print("读取图片")
#pic = Image.open("./宁R46974.jpg")
#pic.show()
img = cv2.imread('./captcha.jpg')#地址不能有中文
img=img[np.newaxis,:,:,:]#图片是三维的但是训练时是转换成4维了所以需要增加一个维度
predict = model.predict(img)

参考：https://github.com/ypwhs/captcha_break