基于开源TiRG的文本检测与提取实现

最新推荐文章于 2022-12-25 10:36:59 发布
最新推荐文章于 2022-12-25 10:36:59 发布
阅读量1.9k 收藏 1
点赞数 1
分类专栏： OCR
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fengbingchun/article/details/79819800
版权

        在 http://funkybee.narod.ru/  中作者给出了文本检测和提取的实现，仅有一个.hpp文件，为了在windows上编译通过，这里简单进行了改动，改动后的code如下：

#include <math.h>
#include <stdio.h>
#include <algorithm>
#include <vector>
#include <set>

namespace trg {
//---------------------------------------------------------------------------------------------
//---------------------------------------------------------------------------------------------
typedef unsigned char UC;
//---------------------------------------------------------------------------------------------
const char d8[8][2] = {{1,1},{1,0},{1,-1},{0,-1},{-1,-1},{-1,0},{-1,1},{0,1}};
//---------------------------------------------------------------------------------------------
struct Rgb {UC r, g, b;};
struct Rect {int x1, y1, x2, y2;};
struct Dot {int x, y;};
int w;
int h;
//---------------------------------------------------------------------------------------------
std::vector<std::vector<UC> > lum;
std::vector<std::vector<UC> > cyx;
std::vector<std::vector<char> > nei;
std::vector<std::vector<short> > b;
std::vector<Rect> res;
//---------------------------------------------------------------------------------------------
const int dw = 24;
const int dh = 24;
const int h_min = 6;
const int h_max = 66;
const int ns_min = 2;
const double pl_min = 0.5;
//---------------------------------------------------------------------------------------------
//---------------------------------------------------------------------------------------------

void print_b(const char* path) {
    freopen(path, "wt", stdout);
    for (int y = 0; y < h; ++y) {
        for (int x = 0; x < w; ++x)
            printf("%c", (b[y][x] ? (char)(b[y][x] + 48) : ' '));
        putchar('\n');
    }
}

//---------------------------------------------------------------------------------------------

void calc_lums(const std::vector<std::vector<Rgb> > &raw) {
    lum.assign(h, std::vector<UC>(w));
    cyx.assign(h, std::vector<UC>(w));
    int x, y;
    int zh = h / 1;
    int zw = w / 3;
    int y1 = 0;
    int y2 = y1 + zh;
    while (y1 < h) {
        int x1 = 0;
        int x2 = x1 + zw;
        while (x1 < w) {
            int sm = 0;
            for (y = y1; y < std::min(y2, h); ++y) {
                for (x = x1; x < std::min(x2, w); ++x) {
                    Rgb px = raw[y][x];
                    // ITU-R 601-2 luma transform:
                    lum[y][x] = (UC)(px.r * 0.299 + px.g * 0.587 + px.b * 0.114);
                    sm += lum[y][x];
                }
            }
            double sr = sm * 1.0 / (std::min(y2, h) - y1) / (std::min(x2, w) - x1);
            double cc = 0;
            for (y = y1; y < std::min(y2, h); ++y)
                for (x = x1; x < std::min(x2, w); ++x)
                    cc += fabs(sr - lum[y][x]);
            cc = cc / (std::min(y2, h) - y1) / (std::min(x2, w) - x1);
            for (y = y1; y < std::min(y2, h); ++y)
                for (x = x1; x < std::min(x2, w); ++x)
                    cyx[y][x] = (UC)std::max(35.0, cc);
            x1 = x2;
            x2 = x1 + zw;
        }
        y1 = y2;
        y2 = y1 + zh;
    }
}

//---------------------------------------------------------------------------------------------

void count_neis() {
    nei.clear();
    nei.resize(h);
    for (int i = 0; i < h; ++i) nei[i].resize(w, 0);
    std::set<char> t, t1, t2;
    t1.insert(6); t1.insert(7); t1.insert(0);
    t2.insert(7); t2.insert(0); t2.insert(1);
    for (int i = 1; i < h - 1; ++i) {
        for (int j = 1; j < w - 1; ++j) {
            char y = 0;
            t.clear();
            for (size_t k = 0; k < 8; ++k) {
                if (abs((int)lum[i][j] - lum[i + d8[k][0]][j + d8[k][1]]) > cyx[i][j]) {
                    ++y;
                    t.insert(k);
                }
            }
            if (y == 3) {
                if (*(t.begin()) + (y - 1) == *(--t.end()) || t == t1 || t == t2)
                    nei[i][j] = y;
                else
                    nei[i][j] = -y;
            }
            else
                nei[i][j] = y;
        }
    }
}

//---------------------------------------------------------------------------------------------

int stroke_calc(int p1, int q1) {
    int p2 = std::min(h - 1, p1 + dh);
    int q2 = std::min(w - 1, q1 + dw);
    int nm = (p2 - p1) * (q2 - q1);
    double u = 0.0;
    std::vector<int> x(10);
    for (int i = p1; i < p2; ++i) {
        int fl = 0;
        for (int j = q1; j < q2; ++j) {
            if (nei[i][j] >= 0) ++x[nei[i][j]];
            if (nei[i][j] == 0) ++fl;
        }
        if (fl == q2 - q1) u += 1.0;
    }
    for (int k = 0; k < 7; ++k)
        if (x[k] == 0) return 0;
    if (nm > (x[3] + x[6]) * 20)
        return 0;
    int cnt1 = x[3] * 16 + x[6] * 16;
    int cnt2 = x[0];
    x[9] = int(cnt1 * cnt2 * 1.0 / nm);
    x[9] = int(x[9] * (1 + u / (p2 - p1)) * (1 + u / (p2 - p1)));
    if (x[9] < 600 || x[9] > 3000) x[9] = 0;
    return x[9];
}

//---------------------------------------------------------------------------------------------

void build_b() {
    int ww = w / dw;
    int hh = h / dh;
    b.assign(h + 1, std::vector<short>(w + 3));
    for (int dy = 0; dy <= dh / 2; dy += dh / 2) {
        std::vector<std::vector<int> > m(hh + 1, std::vector<int>(ww + 3));
        for (int i = 1 + dy; i < h; i += dh)
            for (int j = 1; j < w; j += dw)
                m[(i - 1 - dy) / dh][(j - 1) / dw] = stroke_calc(i, j);
        for (int i = 0; i < hh + 1; ++i) {
            for (int j = 0; j < ww; ++j) {
                if (m[i][j] != 0 && m[i][j + 1] != 0 && m[i][j + 2] != 0 &&
                    m[i][j] + m[i][j + 1] + m[i][j + 2] > 3 * 800) {
                    m[i][ww + 2] = 1;
                    break;
                }
            }
        }
        for (int i = 0; i < hh + 1; ++i) {
            if (m[i][ww + 2] == 0)
                continue;
            for (int j = 0; j < ww + 1; ++j) {
                if (m[i][j] != 0) {
                    int h1 = i * dh + 1 + dy;
                    int h2 = h1 + dh;
                    h2 = std::min(h - 1, h2);
                    int w1 = j * dw + 1;
                    int w2 = w1 + dw;
                    w2 = std::min(w - 1, w2);
                    for (int p = h1; p < h2; ++p) {
                        b[p][w + 2] = 1;
                        for (int q = w1; q < w2; ++q)
                            if (nei[p][q] != 0) b[p][q] = 1;
                    }
                }
            }
        }
    }
    //print_b("C:/b1.txt");
    //@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
    for (int i = 0; i < h; ++i) {
        if (b[i][w + 2] == 0) continue;
        int j = 0;
        int ss = 0;
        while (j < w) {
            if (b[i][j] && b[i][j + 1] && b[i][j + 2]) {
                int js = j;
                int sm = 0;
                int gap = 0;
                while (j < w && gap < 30) {
                    if (b[i][j]) {
                        gap = 0;
                        ++sm;
                    }
                    else
                        ++gap;
                    ++j;
                }
                if (sm > 20 && sm > (j - js - gap) * 0.4) {
                    ss += j - js - gap;
                    for (int k = js; k < j - gap; ++k)
                        b[i][k] += 2;
                }
                ++j;
            }
            else ++j;
        }
        if (ss < 40) b[i].assign(w + 3, 0);
        else b[i][w + 2] = 1;
    }
    //print_b("C:/b2.txt");
    //@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
    int cnt = 0;
    for (int i = 0; i < h + 1; ++i) {
        if (b[i][w + 2] == 0) {
            if (cnt > 0 && cnt < 8) {
                for (int ii = i - cnt; ii < i; ++ii) {
                    b[ii].assign(w + 3, 0);
                }
            }
            cnt = 0;
        }
        else ++cnt;
    }
    //print_b("C:/b3.txt");
    //@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
}

//---------------------------------------------------------------------------------------------

void get_res() {
    res.clear();
    for (int i = 0; i < h; ++i) {
        for (int j = 0; j < w; ++j) {
            if (b[i][j] > 1) {
                int cnt = 1;
                int x1 = w;
                int x2 = 0;
                int y1 = h;
                int y2 = 0;
                b[i][j] *= -1;
                Dot dt;
                std::vector<Dot> v, ww;
                dt.x = j;
                dt.y = i;
                v.push_back(dt);
                while (!v.empty()) {
                    ww.clear();
                    for (size_t z = 0; z < v.size(); ++z) {
                        Dot vv = v[z];
                        for (size_t k = 0; k < 8; ++k) {
                            int yy = vv.y + d8[k][0];
                            int xx = vv.x + d8[k][1];
                            if (xx < 0 || xx >= w || yy < 0 || yy >= h)
                                continue;
                            if (b[yy][xx] > 1) {
                                b[yy][xx] *= -1;
                                dt.x = xx;
                                dt.y = yy;
                                ww.push_back(dt);
                                x1 = std::min(x1, xx);
                                x2 = std::max(x2, xx);
                                y1 = std::min(y1, yy);
                                y2 = std::max(y2, yy);
                            }
                        }
                    }
                    v.swap(ww);
                    cnt += (int)v.size();
                }
                int dx = x2 - x1 + 1;
                int dy = y2 - y1 + 1;
                double pl = cnt * 1.0 / dx / dy;
                if (pl > pl_min && dy > h_min && dy < h_max && dx > dy * ns_min) {
                    Rect r = {x1, y1, x2, y2};
                    res.push_back(r);
                }
            }
        }
    }
}

//---------------------------------------------------------------------------------------------

std::vector<Rect> get_textlike_regions(const std::vector<std::vector<Rgb> > &raw) {
    res.clear();
    if (raw.empty()) return res;
    w = raw[0].size();
    h = raw.size();
    calc_lums(raw);
    count_neis();
    build_b();
    get_res();
    return res;
}

//---------------------------------------------------------------------------------------------

} // End of namespace trg;

        测试代码如下：

#include "funset.hpp"
#include <string>
#include <opencv2/opencv.hpp>
#include "trg.hpp"

int test_TiRG()
{
	const std::string name{ "E:/GitCode/OCR_Test/test_data/tirg.jpg" };
	cv::Mat mat = cv::imread(name, 1);
	if (!mat.data || mat.channels() != 3) {
		fprintf(stderr, "read image fail: %s\n", name.c_str());
		return -1;
	}

	const int width{ mat.cols }, height{ mat.rows };
	std::vector<std::vector<trg::Rgb>> data(height, std::vector<trg::Rgb>(width));

	for (int y = 0; y < height; ++y) {
		for (int x = 0; x < width; ++x) {
			cv::Vec3b pixel = mat.at<cv::Vec3b>(cv::Point(x, y));
			trg::Rgb rgb = { pixel.val[2], pixel.val[1], pixel.val[0] };
			data[y][x] = rgb;
		}
	}

	std::vector<trg::Rect> rect = trg::get_textlike_regions(data);

	for (int i = 0; i < rect.size(); ++i) {
		cv::rectangle(mat, cv::Point(rect[i].x1, rect[i].y1), cv::Point(rect[i].x2, rect[i].y2), cv::Scalar(0, 255, 0));
	}

	cv::imwrite("E:/GitCode/OCR_Test/test_data/result_tirg.jpg", mat);

	return 0;
}

        原图及执行结果如下：


        GitHub： https://github.com/fengbingchun/OCR_Test 

fengbingchun
关注
专栏目录
openCV 文本检测代码运行| 视频OCR检测测试 | 【小白教程】
专注于AI领域前沿技术学习与分享：目标检测、图像修复、超分重建、AI工程化
04-22 340
本博文紧接上一篇，进行代码改进 和 视频OCR检测 测试 | openCV 文本检测代码运行 | 小白教程上 认真查阅这两个博文，相信你也一定可以很快，顺利完成（跑通）一份 python 借助 openCV，实现给 模型 输入 图像，进而得到 文本检测 结果的 demo 代码； 教程非常简洁（简单）明了，作为CV小白，重要的是去理解这个过程 和 具备 自行学习、测试和应用其它 openCV 现有 sample 代码的能力； openCV 文本检测代码运行 首先小修代码图像 OCR 测试mp4 视频 .
openCV 文本检测代码运行 | 【小白教程】
专注于AI领域前沿技术学习与分享：目标检测、图像修复、超分重建、AI工程化
04-21 375
openCV 的安装 可参考链接 https://positive.blog.csdn.net/article/details/113988984 这里实际安装的是 openCV 4.5.1 版本，运行的 sample 代码如下 模型下载 运行 text_detection.cpp 运行的代码地址，当然我是直接从 安装的 openCV 4.5.1 下 samples/dnn 目录下 copy 过来的 代码地址： openCV 4.5.1 - text_detection.cpp .
TiRG-开源
06-04
TiRG 是一个（C++Builder；任何 C++；）项目，旨在检测和定位光栅图像中的文本（类似）区域。 为了确保您需要（或不需要）它在 http://funkybee.narod.ru/ 页面上看到一堆示例图片。 TiRG 代表光栅图形中的文本。 该项目曾经/现在/将仅在公共领域许可下。
docx2txt:基于Perl的实用程序，用于从MS Docx文件中提取格式化的文本内容-开源
05-08
Docx2txt是基于Perl的命令行实用程序，用于将Microsoft docx文档（甚至已损坏）转换为合理格式化的文本文件，并进行适当的字符转换。 除了Perl之外，它还需要命令行解压缩程序，例如unzip / 7z / pkzipc / wzunzip。
这款功能强大的 文本识别系统 开源了！
code小生
07-16 535
微信搜索逆锋起笔关注后回复编程pdf领取编程大佬们所推荐的 23 种编程资料！开源最前线(ID:OpenSourceTop)猿妹整编正文大家好，今天推荐一个文本识别系统。这是我目前见过的最...
文字提取(Java+Tesseract_OCR)
Rain武煜的博客
12-22 1308
文字提取Java+Tesseract_OCR开发环境Tesseract 安装相关链接安装配置环境变量检查时候安装成功扩展语言包Java代码(上小菜)1.POM文件2.ImageIOHelper代码3. OCRUtil代码4.TestOcr 测试代码结尾参考文章 开发环境 系统: windows 11 jdk: 1.8 框架: spring boot 2.1.4 + maven 工具: idea Tesseract 安装 相关链接 官方网站：https://github.com/tesseract-ocr
tirg-dll:TiRG 文本边界框查找器作为 dll
07-14
#TiRG-dll ##TiRG 文本边界框查找器作为 dll TiRG-dll 有两个导出函数用于ctypes或其他外部函数库： char* getTextBBoxesFromBytes(char* b, int w, int h); char* getTextBBoxesFromFile(char* path, int w,...
TIRG家具风格
02-16
TIRG用波恩家具样式数据集合成文本和图像以进行图像检索 Jeffery Braga，Doris Chia-ching林 该项目试图将TIRG函数用于新家具风格数据集的图像检索。 原始代码随论文一起发布： 南沃，陆江，陈孙，凯文·墨菲，李...
java opencv 文字区域,使用Opencv检测图像中的文本区域
weixin_30838971的博客
02-27 918
I have an image and want to detect the text regions in it.I tried TiRG_RAW_20110219 project but the results are not satisfactory. If the input image is http://imgur.com/yCxOvQS,GD38rCa it is producing...
结合CLIP特征的文件的20字中文标题：基于CLIP特征的交互式CBIR系统
MICC2Universita` di Pisa佛罗伦萨，意大利-比萨，意大利[姓名]@ unifi.it摘要条件和合成图像检索扩展CBIR系统相结合的查询图像与一个额外的文本，表达了用户的意图，描述额外的请求w.r.t.查询图像的视觉内容。这种...
文档开发中预览/编辑/格式转换/内容提取/语言识别/文件服务器/相关的开源/商业组件和库
建模分析师胡选来
01-15 224
能用于项目开发的office文件功能： ------------------------- pageoffice: 在线编辑office http://www.zhuozhengsoft.com/java/ WebOffice （java/jsp） :在线编辑office , 商业版贵 kkFileView：文档在线预览 https://github.com/kekingcn/kkFileView go-fastdfs：文件服务器 UReport2：动态报表 ------------------------
一款开源的文件搜索神器，终于不用记 find 命令了
xuhss_com的博客
04-13 662
Python微信订餐小程序课程视频 https://blog.csdn.net/m0_56069948/article/details/122285951 Python实战量化交易理财系统 https://blog.csdn.net/m0_56069948/article/details/122285941 这是 HelloGitHub 推出的《讲解开源项目》系列，用一篇文章带你快速上手有趣的开源项目。 今天给大家推荐一个好用+开源的文件搜索工具——fd 该工具支持大多数主流操作系统，快来更新你的工具箱
几乎最全的中文NLP资源库
热门推荐
ningyanggege的博客
05-12 3万+
NLP民工的乐园 The Most Powerful NLP-Weapon Arsenal NLP民工的乐园: 几乎最全的中文NLP资源库 词库 工具包 学习资料 在入门到熟悉NLP的过程中，用到了很多github上的包，遂整理了一下，分享在这里。 很多包非常有趣，值得收藏，满足大家的收集癖！ 如果觉得有用，请分享并star，谢谢！ 长期不定时更新，欢迎watch和fork！ 涉及内容包括但不限于：中英文敏感词、语言检测、中外手机/电话归属地/运营商查询、名字推断性别、手机号抽取...
【C51】04-感应开关垃圾桶(定时器、PWM开发、超声波)
m0_51706315的博客
10-30 307
01-定时器控制LED灯每隔一秒亮灭。
ocr文本检测文本识别资源汇总.持续更新
yang_daxia的博客
04-23 1473
论文+数据集 https://github.com/hwalsuklee/awesome-deep-text-detection-recognition 数据集 https://www.cnblogs.com/lillylin/p/6893500.html 论文 https://handong1587.github.io/deep_learning/2015/10/09/ocr.html...
免费开源的高精度OCR文本提取，支持 100 多种语言、自动文本定位和脚本检测，几行代码即可实现离线使用（附源码）
最新发布
代码讲故事
12-25 1612
免费开源的高精度OCR文本提取，支持 100 多种语言、自动文本定位和脚本检测，几行代码即可实现离线使用（附源码）。
Github标星13.6k！一行代码从PDF提取Excel文件
Datawhale
08-09 1395
Datawhale干货开源技术：OCR开源技术我们在工作生活中经常会遇到表格识别的问题，比如导师说，把下面PDF文件里面的表格取出来整理成Excel表。只要稍微会一点Python，这个...
文字检测与文字识别开源程序
OpenCV中文网
12-19 4711
Scene text detection and recognition based on Extremal Region(ER) https://github.com/HsiehYiChia/Scene-text-recognition  A real-time scene text recognition algorithm. Our system is able to recognize
推荐一个开源文本识别工具箱，实现 5 种实用经典算法
我爱计算机视觉
01-27 585
推荐一个由52CV群友 @chibohe 开发的文本识别工具箱，其基于Pytorch 使用统一的方式重新实现了一系列经典的场景文本识别论文。代码在这里：https://github.co...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值