文本检测：advanceeast训练自己的数据集

最近要做一个ocr识别的项目，首先需要做文本检测，最后使用advanceast算法训练自己的数据集，得到较好的检测效果，最终检测效果如下（检测图片中的船名）：

感谢大佬开源代码和训练方式：https://github.com/huoyijie/AdvancedEAST

环境：ubuntu16.04,tf-gpu1.14,keras2.3.1

一：advanceeast训练时，将标记后的xml文件转成模型使用的txt文件。（xml_txt.py）

#将标记后的xml文件转为advanceeast训练的格式
import os
import xml.etree.ElementTree as ET
import shutil
import glob
import time
path="/home/workstation/AdvancedEAST/icpr/ship_xml"
file=os.listdir(path)
file=glob.glob(path+"/*.xml")
n=0
for filename in file:
    #start=time.time()
    first=os.path.splitext(filename)[0]
    last=os.path.splitext(filename)[1]

    if last==".xml":
        #print(first,last)
        next=first.split("/")
        name=next[-1]+".xml"
        n=n+1
        print("正在处理第{}个xml文件,名称为{}".format(n,name))
        filetxt=first+".txt"
        f=open(filetxt,'w')

        aa=[]
        tree=ET.parse(filename)
        root=tree.getroot()
        for tt in root.iter("object"):
            lefttopx=tt.find("bndbox")[0].text
            lefttopy=tt.find("bndbox")[1].text
            righttopx=tt.find("bndbox")[2].text
            righttopy = tt.find("bndbox")[1].text
            rightdownx = tt.find("bndbox")[2].text
            rightdowny = tt.find("bndbox")[3].text
            leftdownx = tt.find("bndbox")[0].text
            leftdowny = tt.find("bndbox")[3].text
            tb=tt.find("name").text
            aa=list([lefttopx,lefttopy,righttopx,righttopy,rightdownx,rightdowny,leftdownx,leftdowny,tb])
            bb=",".join(aa)
            f.writelines(bb)
            f.writelines("\n")

    else:
        continue

二：文件夹中有各种图片和xml文件，其中，含有标记过的图片和对应的xml文件，和没标记的图片。将文件夹中标记过的图片提取出来。（extract.py）

#提取文件夹中标记过的图片
import os
import shutil
path="/home/terryn/deep_learning/ocr/AdvancedEAST/icpr/GaoGang201706"
topath="/home/terryn/deep_learning/ocr/AdvancedEAST/icpr/ship_img"
filelist=os.listdir(path)
aa=[]
for file in filelist:
    first=os.path.splitext(file)[0]
    last=os.path.splitext(file)[1]
    if last==".xml":
        aa.append(first)
n=0
for file in filelist:
    first=os.path.splitext(file)[0]
    last=os.path.splitext(file)[1]
    if first  in aa and last==".jpg":
        tpath=os.path.join(path,file)
        shutil.move(tpath,topath)
        print("正在处理第{}张图片".format(n))
        n=n+1
        #print(tpath)

三：判断图片文件夹里的图片名称和txt文件夹下的txt文件名称是否一一对应。（difference.py）

import os
path1="/home/terryn/deep_learning/ocr/AdvancedEAST/icpr/ship_img"
path2="/home/terryn/deep_learning/ocr/AdvancedEAST/icpr/ship_txt"
list1=[]
list2=[]
aa=[]
bb=[]
file1=os.listdir(path1)
file2=os.listdir(path2)
for filename1 in file1:
    first,last=os.path.splitext(filename1)
    list1.append(first)
for filename2 in file2:
    first,last=os.path.splitext(filename2)
    list2.append(first)
for _ in list2:
    if _ not in list1:
        aa.append(_)
for _ in list1:
    if _ not in list2:
        bb.append(_)
        print(bb)
print(len(aa))
print(len(bb))

四：训练步骤：

根据训练集的图片尺寸，选择图片的训练尺寸范围，在cfg.py的19,20行。假设多尺度训练范围为[256,384,512,640,736]。该模型训练不是一步完成，而是按尺度由小到大完成，首先训练256尺度时，由于是第一次训练，cfg.load_weight设为false，在advanced_east.py的第21，22行不加载之前的模型，选择保存模型到model/下，保存所有模型，选择一个val_loss最小的模型，作为下一个尺度384模型的预训练模型，复制到saved_model下，并改名为east_model_weight_3T384.h5，同时，让训练时加载到，设置cfg.load_weight=True,以此类推，继续训练。

五：移动文件夹下的指定图片或文件

如将image_xml文件夹下以.jpg结尾的文件移动到ship_img文件夹下:

find image_xml -name '*.jpg' -exec mv {} ship_img \;