使用PP-Structure识别表格，使用save_structure_res保存结果，只生成res_0.txt，没有生成excel。

已于 2024-01-31 00:34:04 修改
阅读量1.9k 收藏 17
点赞数 13
文章标签： opencv 人工智能 计算机视觉
于 2024-01-31 00:28:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43362779/article/details/135943889
版权

问题描述：

最近使用yolo识别表格，之后使用PP-structure进行表格的文本识别，并且通过save_structure_res来保存表格识别的excel信息，但是发现有些表格没有保存成excel，只生成了res_0.txt，打开res_0.txt发现type='figure'。

原因：

因为PP-Structure会进行版面分析，PP-Structure默认的版面分析模型会识别多种类型，人类所认为的表格机器不一定会识别成表格。

解决办法：

1、替换PP-Structure的版面分析模型为表格识别模型。

table_name = file.split(".")[0]
save_folder = table_folder_path
img = cv2.imread(table_path)
result = table_engine(img)
# 保存 OCR 结果
save_structure_res(result, save_folder, table_name)
table_engine = PPStructure(
    use_gpu=False,
    show_log=True,
    lang='ch',
    layout_model_dir='new_model/layout/picodet_lcnet_x1_0_fgd_layout_table_infer',
    layout_url='new_model/layout/layout_table_dict.txt',
)

替换layout_model_dir为picodet_lcnet_x1_0_fgd_layout_table_infer模型，下载路径为：

https://gitee.com/paddlepaddle/PaddleOCR/blob/release/2.7/ppstructure/docs/models_list.md

layout_url为layout_table_dict.txt，下载路径为：

https://gitee.com/paddlepaddle/PaddleOCR/blob/release/2.7/ppocr/utils/dict/layout_dict/layout_table_dict.txt
2、进行完上述步骤后发现所有表格都没有保存excel，还需要修改predict_system.py，我的是在以下路径：

修改第127行table为text

修改第201行table为text

这样就会发现所有的表格都保存了excel。我猜测可能会有些表格识别不出来，暂时未遇到（这是因为我提前使用了yolo进行了表格识别）

QGQi
关注
Mono里运行C#脚本42—mono_arch_create_generic_trampoline函数的生成的汇编代码
大坡3D软件开发
02-09 215
下面的代码要与mono_magic_trampoline函数的代码一行一行地对比地查看。才能知道跳板代码怎么样调用mono_magic_trampoline函数。为了更详细地分析跳板代码的运行机制，所以需要查看这个跳板生成的代码，
PPStructure核心源码研究（二）StructureSystem类详解
Eric_Hxy的专栏
09-12 1383
详细解释StructureSystem类的核心方法，并通过三个代码实践，展现主要应用场景。
PP-Structure试用指南
LooCeng的博客
06-07 773
最快实现图片转Excel指南
[paddleocr]ppstructure表格识别
futureflsl的博客
06-24 4995
运行完成后，每张图片的excel表格会保存到output字段指定的目录下，同时在该目录下回生产一个html文件，用于可视化查看单元格坐标和识别的表格。gt每一行都由文件名和表格的html字符串组成，文件名和表格的html字符串之间使用。PP-Structure目前提供了中英文两种语言的表格识别模型，模型链接见。准备完成后使用如下命令进行评估，评估完成后会输出teds指标。下面以中文表格识别模型为例，介绍如何识别一张表格。文本识别模型的训练、评估和推理流程可参考。表格识别模型的训练、评估和推理流程可参考。
一点奇怪的想法 ——ppstructure中关键信息的提取和表格识别的结合----＞我以为的结束，其实是折磨的开始
jinfish2020的博客
03-16 878
但是，但是他的位置信息呢，没有生成，他还在函数里。然后看代码尝试，看代码，尝试。看到这个框框很开心，我以为差不多可以结束收工提前打卡。结果生活总是要给你点颜色看看。昨天卡在对后一张图片位置的提取上，晚上想了很久-----1.过后睡得挺香的。我以为我已经找到了真解，但亲爱的那不是爱情,还得接着来。先给大家看下我的解决方式-----的一点尝试。想法是好的，但是做起来麻了。嗯----很难说，一些想法，我很难去说对与不对，毕竟见识有限。看起来还是可以的，起码是比单独的ocr识别效果是好上一些的。
PP-Structure—表格数据提取
weixin_45897172的博客
06-28 6639
PP-Structure是PaddleOCR团队自研的智能文档分析系统，旨在帮助开发者更好的完成版面分析、表格识别等文档理解相关任务。PP-StructureV2系统流程图如下所示，版面分析任务中，图像首先经过版面分析模型，将图像划分为文本、表格、图像等不同区域，随后对这些区域分别进行识别，如，将表格区域送入表格识别模块进行结构化识别，将文本区域送入OCR引擎进行文字识别，最后使用版面恢复模块将其恢复为与原始图像布局一致的word或者pdf格式的文件；
基于PPStructureV2实现pdf的表格识别
WIZERS的博客
01-30 5925
PPStructureV2由百度的PaddleOCR团队开发，获得了当前文档/图片中表格识别的最佳性能(State-of-the-art, SOTA)。github项目地址论文地址。本文是从应用角度出发，所以不会讲太多原理上的东西。经过我多次测试，发现PPStructure的效果并没有想象中那么好，它会忽略或误判小型表格（只有两三行的），可能会识别为“figure”或“text”，而且时间性能也很长。但是对于大型表格、多表头、合并单元格的识别确实相当惊艳，并且可以识别双列文档。
PP-Structure 快速入门
hsling
10-01 2092
PP-Structure是PaddleOCR团队研发的智能文档分析系统，旨在帮助开发者更好地完成版式分析、表格识别等文档理解相关的任务。
【ERNIE + PaddleOCR】 快速生成latex表格代码
这里有最新的AI应用资讯，这里有最全的AI应用体验场景.
05-30 988
而现在，借助PaddleOCR和ERNIE等智能工具，我们可以迅速提取模板论文的表格信息并自动生成规范表格，极大地提升了工作效率和准确性。安装所需环境，需要安装PaddleOCR，最好从源代码进行安装，目前该项目更新较快，使用新版本更不容易出现错误。首先利用PaddleOCR的表格识别功能，对论文里的表格进行识别，然后将结果的html代码进行解析，通过ERNIE转换html代码转换为latex代码。使用ernie-3.5来进行转换，得到转换的结果，获得基本的latex表格代码。准备好论文的表格图片。
OCR识别图片表格
m0_51954089的博客
05-12 4527
目录： 一、PP-Structure简介 二、安装PP-Structure 三、使用Jupyter Notebook编写代码 一、PP-Structure简介 PP-Structure是一个可用于复杂文档结构分析和处理的OCR工具包，主要特性如下： 支持对图片形式的文档进行版面分析，可以划分文字、标题、表格、图片以及列表5类区域（与Layout-Parser联合使用） 支持文字、标题、图片以及列表区域提取为文字字段（与PP-OCR联合使用） 支持表格区域进行结构化分析，最终结果输...
def structure_loss(pred, mask): weit = 1 + 5*torch.abs(F.avg_pool2d(mask, kernel_size=31, stride=1, padding=15) - mask) wbce = F.binary_cross_entropy_with_logits(pred, mask, reduction='none') wbce = (weit*wbce).sum(dim=(2, 3)) / weit.sum(dim=(2, 3)) pred = torch.sigmoid(pred) inter = ((pred * mask)*weit).sum(dim=(2, 3)) union = ((pred + mask)*weit).sum(dim=(2, 3)) wiou = 1 - (inter + 1)/(union - inter+1) return (wbce + wiou).mean() def train(train_loader, model, optimizer, epoch, best_loss): model.train() loss_record2, loss_record3, loss_record4 = AvgMeter(), AvgMeter(), AvgMeter() accum = 0 for i, pack in enumerate(train_loader, start=1): # ---- data prepare ---- images, gts = pack images = Variable(images).cuda() gts = Variable(gts).cuda() # ---- forward ---- lateral_map_4, lateral_map_3, lateral_map_2 = model(images) # ---- loss function ---- loss4 = structure_loss(lateral_map_4, gts) loss3 = structure_loss(lateral_map_3, gts) loss2 = structure_loss(lateral_map_2, gts) loss = 0.5 * loss2 + 0.3 * loss3 + 0.2 * loss4 # ---- backward ---- loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), opt.grad_norm) optimizer.step() optimizer.zero_grad() # ---- recording loss ---- loss_record2.update(loss2.data, opt.batchsize) loss_record3.update(loss3.data, opt.batchsize) loss_record4.update(loss4.data, opt.batchsize) # ---- train visualization ---- if i % 20 == 0 or i == total_step: print('{} Epoch [{:03d}/{:03d}], Step [{:04d}/{:04d}], ' '[lateral-2: {:.4f}, lateral-3: {:0.4f}, lateral-4: {:0.4f}]'. format(datetime.now(), epoch, opt.epoch, i, total_step, loss_record2.show(), loss_record3.show(), loss_record4.show())) save_path = 'snapshots/{}/'.format(opt.train_save) os.makedirs(save_path, exist_ok=True) if (epoch+1) % 1 == 0: meanloss = test(model, opt.test_path) if meanloss < best_loss: print('new best loss: ', meanloss) best_loss = meanloss torch.save(model.state_dict(), save_path + 'TransFuse-%d.pth' % epoch) print('[Saving Snapshot:]', save_path + 'TransFuse-%d.pth'% epoch) return best_loss def test(model, path): model.eval() mean_loss = [] for s in ['val', 'test']: image_root = '{}/data_{}.npy'.format(path, s) gt_root = '{}/mask_{}.npy'.format(path, s) test_loader = test_dataset(image_root, gt_root) dice_bank = [] iou_bank = [] loss_bank = [] acc_bank = [] for i in range(test_loader.size): image, gt = test_loader.load_data() image = image.cuda() with torch.no_grad(): _, _, res = model(image) loss = structure_loss(res, torch.tensor(gt).unsqueeze(0).unsqueeze(0).cuda()) res = res.sigmoid().data.cpu().numpy().squeeze() gt = 1*(gt>0.5) res = 1*(res > 0.5) dice = mean_dice_np(gt, res) iou = mean_iou_np(gt, res) acc = np.sum(res == gt) / (res.shape[0]*res.shape[1]) loss_bank.append(loss.item()) dice_bank.append(dice) iou_bank.append(iou) acc_bank.append(acc) print('{} Loss: {:.4f}, Dice: {:.4f}, IoU: {:.4f}, Acc: {:.4f}'. format(s, np.mean(loss_bank), np.mean(dice_bank), np.mean(iou_bank), np.mean(acc_bank))) mean_loss.append(np.mean(loss_bank)) return mean_loss[0]
最新发布
03-16
对于每个测试样本，获取模型输出（这里用到了第三个输出res），计算structure_loss，然后将预测结果二值化，计算各项指标。最后输出平均值。 现在需要将这些分析整理成结构化的解释，分步骤说明每个函数的作用、...
[paddleocr]PP-Structure 快速开始
futureflsl的博客
06-24 2117
字段指定的目录下有一个同名目录，图片里的每个表格会存储为一个excel，图片区域会被裁剪之后保存下来，excel文件和图片名为表格在图片里的坐标。通过本节内容，相信您已经熟练掌握通过PaddleOCR whl包调用PP-Structure相关功能的使用方法，您可以参考。# 安装 图像方向分类依赖包paddleclas（如不需要图像方向分类功能，可跳过）您的机器安装的是CUDA9或CUDA10，请运行以下命令安装。如果您没有基础的Python运行环境，请参考。您的机器是CPU，请运行以下命令安装。
PaddleOCR——封装PP-Structure成一个简单的服务（dockerfile）
啷个哩个啷
09-17 9036
主链接： github上的issue——PP-Structure ????1. 安装依赖 由于后续这些都是基于docker进行的，所以这里直接记录dockerfile文件内容： 1. 确认基础镜像 基础镜像就是paddlepaddle的镜像了， 根据：开始使用可知，镜像的名称应该类似于：registry.baidubce.com/paddlepaddle/paddle:2.1.2-gpu-cuda11.2-cudnn8 根据：paddlepaddle-docker主页仓库 docker pull pa
PP-Structure 文档分析_2
m0_60657960的博客
04-08 2162
PP-Structure是PaddleOCR团队自研的智能文档分析系统，旨在帮助开发者更好的完成版面分析、表格识别等文档理解相关任务。PP-StructureV2系统流程图如下所示，文档图像首先经过图像矫正模块，判断整图方向并完成转正，随后可以完成版面信息分析与关键信息抽取2类任务。
Windows系统下使用pyinstaller打包PaddleOCR中表格识别PP-Structure
u012254599的博客
11-23 2332
正常情况下会报出一些错误，大部分都是缺少文件导致的，所以解决方法都是同一种，就是去到环境安装根目录，例如本文环境名为paddleocr，安装目录为C:\ProgramData\Miniconda3\envs\paddleocr，从中复制文件到exe文件夹下，进行报错解除。需要注意的是首次运行，程序会自动下载模型文件，如果计算机不能够联网，需要将模型文件夹复制到主目录，即C盘用户名目录下，模型文件夹有两个，分别为.paddledet与.paddleocr。
八、OCR系列-OCR表格识别-PP-Structure
qq_15821487的博客
12-16 6271
笔记本内存不够用怎么扩大:https://jingyan.baidu.com/article/ca2d939d2f2cb1aa6d31ce18.html
[paddleocr]ppstructure版面分析
futureflsl的博客
06-24 3369
版面分析指的是对图片形式的文档进行区域划分，定位其中的关键区域，如文字、标题、表格、图片等。版面分析算法基于的轻量模型PP-PicoDet进行开发，包含英文、中文、表格版面分析3类模型。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值