fpga实战训练精粹pdf_tensorflow版PSENet 文本检测模型训练和测试

向AI转型的程序员都关注了这个号???

机器学习AI算法工程   公众号：datayx

psenet核心是为了解决基于分割的算法不能区分相邻文本的问题，以及对任意形状文本的检测问题。

psenet依然采用基于分割的方式，但是对文本行不同核大小做预测，然后采用渐进式扩展算法扩展小尺度kernel到最终的文本行大小。因为在小尺度kernel之间存在比较大的margin，因此能够很好的区分相邻的文本行。最终结果在icdar2015和icdar2017都取得了sota的效果，而其最大的亮点是在SCUT-CTW1500弯曲文本数据集上取得了超过先前最好算法6.37%的结果。

从上图(b)中可以看出基于回归的方式不能对弯曲文本做出很好的定位，而从(c)中可以看出基于语义分割的方式虽然可以定位弯曲文本，但是不容易将相邻的文本区分开来。而(d)中采用本文提出的渐进式扩展算法能够较好的定位弯曲文本，并且能将不同文本实例区分开来。

其具体采用的方式是首先预测每个文本行的不同kernels，这些kernels和原始文本行具有同样的形状，并且中心和原始文本行相同，但是在尺度上是逐渐递增的，最大的kernel就是原始文本行大小。之后对这些kernels采用bfs算法，首先从最小scale的kernel开始，逐步对它进行扩增到更大的kernel，最终扩增到原始文本行大小。而之所以这种方式能够区分文本行边缘像素，是因为对于最小scale的kernel，不同文本行是完全分离开的，而在逐渐扩展的过程中是受上一级kernel监督的，因此即使扩增到原始文本行大小也能够将边缘像素区分开来。网络结构：文章使用在ImageNet数据集上预训练的Resnet+fpn作为特征提取的网络结构

首先将高层特征和低层特征融合后得到(P2, P3, P4, P5)四个特征层，其中每个特征层的channel数量为256。之后将四个特种层concat得到F， 其中F=C(P2,P3,P4,P5) = P2 || Upx2(P3) || Upx4(P4) || Upx8(P5)，其中的||就代表concat。x2,x4,x8分别代表2倍、4倍和8倍的上采样。将F送入Conv(3,3)-BN-ReLU层，并将特征层的channel数量变为256。之后再将F送入多个Conv(1,1)-Up-Sigmod层来得到n个分割结果S1,S2,...Sn，其中的Up代表上采样。渐进式扩展算法：渐进式扩展算法核心思想就是Breadth-First-Search(BFS)，这里我们拿3个分割结果S={S1,S2,S3}来举例。

其中S1(上图a)代表最小核的分割结果，它内部有四个连通区域C={c1,c2,c3,c4}。图b将这四个连通区域使用不同颜色标记。之后我们逐步判断和C相邻的像素是否在S2中，如果在，则将其合并到图b中，从而得到合并后的结果图c。S3同理，最终我们抽取图d中不同颜色标注的连通区域作为最后的文本行检测结果。

渐进式扩展算法的伪代码见下图：

其中T、P代表中间结果，Q是一个队列，Neighbor(.)代表p的相邻像素。GroupByLabel(.)代表根据label对中间结果T进行合并。需要注意的是对于相邻连通区域，在边缘处合并时会产生冲突，因此采用先first-come-first-served的原则，将会产生冲突的像素只合并到一个kernel中去。

标签生成：

为了生成训练时不同尺寸kernels所对应的ground truths，作者采用Vatti clipping algorithm将原始多边形pn缩放di个像素从而得到pi，其中每个缩放的pi都使用0/1的二进制mask来表示分割后的标签的。

其中m代表最小的缩放比例，值的范围为(0,1]。因此可以看出ri由超参数n和m来决定，当i=1时，r1为m，当i=n时，rn为1，因此ri的取值范围为[m,1]。

作者也分别将n和m取不同参数在icdar2015数据集上做了实验，如下图所示：

固定m=0.5，n从2增加到10，从上图(a)中可以看出当n超过6以后fscore值基本不再增长。可以得出多核结构是有效的，但也不需要过多的kernels。

固定n=6，m从0.1增加到0.9，从上图(b)中可以看出m过大和过小都会掉点。当m过大时，psenet很难区分挨得很近的文本实例，而当m过小时，psenet可能会把一个文本行分成不同部分，从而造成训练不同很好的收敛。

tensorflow版 PSENet训练和测试

项目相关代码 和预训练模型获取：

关注微信公众号 datayx  然后回复  pse  即可获取。

AI项目体验地址 https://loveai.tech

根据测试命令

1. python eval.py

2. --test_data_path=./tmp/images/

3. --gpu_list=0

4. --checkpoint_path=./resnet_v1_50/

5. --output_dir=./tmp/

在项目根目录下创建文件夹tmp，resnet_v1_50，在tmp下创建images文件夹，测试图片放在该文件夹下。

运行测试命令，根据提示缺啥包装啥包，因为我的环境是python3.6，作者用的是python2.7(虽然作者说python2和python3都可以)，还是会报一些错，进行如下修改：

1.1 utils_tool.py 12行：

import queue改成：

eval.py 228行：

xrange改成range

2.g++版本不够的话，pse是不能编译。我是4.8版本的，所以要升级一下。同时，用python3的话，把pse/Makefile文件中的，

第一行：$(shell python-config --cflags)改成$(shell python3-config --cflags)

第二行：$(shell python-config --ldflags)改成$(shell python3-config --ldflags)

不要去下载源码编译，很浪费时间。

https://www.jianshu.com/p/a54c882ac513通过这个blog去升级就行。

3.model下载下来之后没有checkpoint这个文件，自己新建一个：

模型解压后的三个文件放在resnet_v1_50文件夹下

eval.py第172行

model_path = os.path.join(FLAGS.checkpoint_path, os.path.basename(ckpt_state.model_checkpoint_path))

直接换成

model_path = "./resnet_v1_50/model.ckpt"

4.数据集下下来，放在data/icdar2015下面即可(自己创建这个文件夹)

---

阅读过本文的人还看了以下文章：

【全套视频课】最全的目标检测算法系列讲解，通俗易懂！

《美团机器学习实践》_美团算法团队.pdf

《深度学习入门：基于Python的理论与实现》高清中文PDF+源码

特征提取与图像处理(第二版).pdf

python就业班学习视频，从入门到实战项目

2019最新《PyTorch自然语言处理》英、中文版PDF+源码

《21个项目玩转深度学习：基于TensorFlow的实践详解》完整版PDF+附书代码

《深度学习之pytorch》pdf+附书源码

PyTorch深度学习快速实战入门《pytorch-handbook》

【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》

《Python数据分析与挖掘实战》PDF+完整源码

汽车行业完整知识图谱项目实战视频(全23课)

李沐大神开源《动手学深度学习》，加州伯克利深度学习(2019春)教材

笔记、代码清晰易懂！李航《统计学习方法》最新资源全套！

《神经网络与深度学习》最新2018版中英PDF+源码

将机器学习模型部署为REST API

FashionAI服装属性标签图像识别Top1-5方案分享

重要开源！CNN-RNN-CTC 实现手写汉字识别

yolo3 检测出图像中的不规则汉字

同样是机器学习算法工程师，你的面试为什么过不了？

前海征信大数据算法：风险概率预测

【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目，让你掌握深度学习图像分类

VGG16迁移学习，实现医学图像识别分类工程项目

特征工程(一)

特征工程(二) :文本数据的展开、过滤和分块

特征工程(三):特征缩放,从词袋到 TF-IDF

特征工程(四): 类别特征

特征工程(五): PCA 降维

特征工程(六): 非线性特征提取和模型堆叠

特征工程(七)：图像特征提取和深度学习

如何利用全新的决策树集成级联结构gcForest做特征工程并打分？

Machine Learning Yearning 中文翻译稿

蚂蚁金服2018秋招-算法工程师(共四面)通过

全球AI挑战-场景分类的比赛源码(多模型融合)

斯坦福CS230官方指南：CNN、RNN及使用技巧速查(打印收藏)

python+flask搭建CNN在线识别手写中文网站

中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程

不断更新资源

深度学习、机器学习、数据分析、python

 搜索公众号添加： datayx  

QQ群 

333972581