在查看文本检测模型DBNet测试结果时发现有文本行没检测出来,因为DBNet是用语义分割模型检测出文本行的kernel,后处理对kernel进行膨胀得到完整的文本区域,查看模型输出图发现该行的kernel检测出来了,是后处理时去掉了这行文本。
具体代码如下所示,其中contour是通过cv2.findContours找到的上图框出白色区域的轮廓,cv2.arcLength返回轮廓的周长,cv2.approxPolyDP是多边形逼近,因为是文本行,返回的框至少应该是个四边形,这行文本返回多边形的顶点小于4所以被忽略了。
epsilon = 0.005 * cv2.arcLength(contour, True)
approx = cv2.approxPolyDP(contour, epsilon, True)
points = approx.reshape((-1, 2))
if points.shape[0] < 4:
continue
cv2.approxPolyDP使用的是Douglas-Peucker算法,原理如下:
在数字化时,要对曲线进行采样,即在曲线上取有限个点,将其变为折线,并且能够在一定程度上保持原有的形状。经典的Douglas-Peucker算法步骤如下:
- 在曲线首尾两点A,B之间连接一条直线AB,该直线为曲线的弦;
- 得到曲线上离该直线段距离最大的点C,计算其与AB的距离d;
- 比较该距离与预先给定的阈值threshold的大小,如果小于threshold,则该直线段作为曲线的近似,该段曲线处理完毕;
- 如果距离大于阈值,则用C将曲线分为两段AC和BC,并分别对两段取信进行1~3的处理。
- 当所有曲线都处理完毕时,依次连接各个分割点形成的折线,即可以作为曲线的近似。
由此可见,设定的阈值越小,拟合的越精准,拟合后多边形的边和顶点越多。cv2.approxPolyDP的参数2(epsilon)是一个距离值,表示多边形的轮廓接近实际轮廓的程度,值越小,越精确。虽然不确定epsilon是不是就是threshold,但肯定和threshold是正相关的。参数3表示是否闭合。
代码中epsilon设的太大,导致返回了两个顶点,也就是轮廓左上到右下的一条直线,这个区域轮廓上所有点到这条直线的距离都满足小于阈值。通过调小epsilon,代码中将系数0.005改为0.001后正常了,返回了一个四边形的四个顶点。
参考