jyjy0608的博客

LORE-TSR的PyTorch正式实施。LORE可以通过将TSR建模为逻辑位置回归，以端到端的方式执行表结构识别（TSR）。该模型简化了TSR流程，作为一个基于关键点的类检测器框架。LORE-TSR在实现中表现出良好的效率和性能，这对未来的TSR模型有一定的借鉴意义。

现代性能最好的对象检测器在很大程度上依赖于骨干网络，骨干网络的进步通过探索更有效的网络结构带来了一致的性能增益。在本文中，我们提出了一种新颖而灵活的主干框架，即CBNetV2，以在预训练微调范式下使用现有的开源预训练主干来构建高性能检测器。特别是，CBNetV2体系结构将多个相同的主干分组，这些主干通过复合连接进行连接。具体而言，它集成了多个骨干网络的高级别和低级别特征，并逐渐扩展感受野，以更有效地执行对象检测。我们还提出了一种更好的训练策略，对基于CBNet的检测器进行辅助监督。

本研究的目的是利用新数据持续训练网络，同时保留现有知识

mmdetection的一些命令

用于文档图像分析的注意力机制研究

imgs_per_gpu表示一块gpu训练的图片数量，imgs_per_gpu的值会影响终端输出的显示

Deep learning for table detection and structurerecognition: A survey

ICDAR2019数据集下载

表格结构识别论文

cdec代码实现

1、隐式编码学习：yolo是在整张图像上进行特征提取，所以能够学到目标和背景、目标和目标之间的关联程度，比起滑动窗口和region proposal会大大降低把背景当做目标的出错率；2、通用领域的模型，泛化能力强；3、对小目标识别性能差，准确率比两阶段网络低，但是速度快，可以达到实时（一般认为超过30FPS可以看作实时）；4、每个grid cell 网格只能预测一类目标；5、平方和误差损失函数对分类问题不太适用，要加一个权重；增加包含目标的grid cell的权重，削减不包含目标的grid

迁移学习：借助预训练模型，泛化到我们自己的模型上举栗子VGG16网络，在ImageNet上已经训练好，是一个预训练模型，有1000个分类1、当我们的数据集较小时，只修改最后一层全连接层，冻结其余所有层的结构和权重；2、当我们的数据集较大时，修改所有全连接层，冻结其余所有卷积层的结构和权重；...

2021年5月12日收到，2021年6月4日接受，出版日期2021年6月9日，当前版本日期2021年6月24日。 摘要 - Abstract  表格识别的第一阶段是检测文档中的表格区域。随后，在第二阶段识别表格结构，以便从各个单元中提取信息。表格检测和结构识别是表格理解领域的关键问题。然而，由于表格中存在大量的多样性和不对称性，导致了表格分析是一项复杂的任务，因此它是文档图像分析中一个活跃的研究领域。图形处理单元计算能力的最新进展使深度神经网络的性能优于传统的最先进的机器学习方法。表格理解从深度

任务B为表格识别部分，本文暂只看表格识别摘要（不重要，想直接看表格识别部分可以跳过）.科学文献包含与不同领域的前沿创新有关的重要信息。自然语言处理的进步推动了科学文献信息自动提取的快速发展。然而，科学文献通常以非结构化PDF格式提供。虽然PDF非常适合在画布上保存基本的视觉元素，如字符、线条、形状等，以便呈现给人类，但机器对PDF格式的自动处理带来了许多挑战。现有超过2.5万亿PDF文档，这些问题在许多其他重要应用领域也很普遍。从科学文献中自动提取信息的一个关键挑战是，文档中通常包含非自然语言的内容

迁移学习侧重不同领域知识蒸馏侧重不同模型知识蒸馏模型就是把一个大的教师模型蒸馏成一个小的学生模型，教师模型会的多而且杂，体型大的网络。而学生网络小而轻量化。知识蒸馏就是模型压缩的一个手段。教师模型：学生模型：预训练的大模型，通过海量数据训练而成。这种大模型不能直接部署到终端设备上，因为小设备算力有限，如果要使用这些预训练的大模型，只能通过部署到云端、部署到数据中心使用，但是这样会受到网络延迟等问题。所以有了知识蒸馏。轻量化神经网络：1、压缩已经训练好的模型：知识蒸馏、权值量化、剪枝、注意力迁移

迁移学习侧重不同领域知识蒸馏侧重不同模型知识蒸馏模型就是把一个大的教师模型蒸馏成一个小的学生模型，教师模型会的多而且杂，体型大的网络。而学生网络小而轻量化。知识蒸馏就是模型压缩的一个手段。教师模型：学生模型：预训练的大模型，通过海量数据训练而成。这种大模型不能直接部署到终端设备上，因为小设备算力有限，如果要使用这些预训练的大模型，只能通过部署到云端、部署到数据中心使用，但是这样会受到网络延迟等问题。所以有了知识蒸馏。轻量化神经网络：1、压缩已经训练好的模型：知识蒸馏、权值量化、剪枝、注意力迁移

ScanSSD: 文档图像中数学公式扫描SSD环境：Cuda 9.1.85 + Pytorch 1.1.0内容列表安装代码组织训练测试性能安装安装pytorch 克隆这个仓库（repository），需要python3按照这个链接上的说明下载数据集下载Visdom用于训练期间的实时损失可视化，这是Visdom的下载链接要在浏览器中使用Visdom：# First install Python server and client首先安装Python服务器和客户端pip inst

只管知道有办法能让一句话、一段声音信号，一个图表（graph）转换为一堆向量，这是输入这种任务输出的话有四种可能性：1.一个向量对应一个标签，2.一组向量对应一个标签，3.输入的个数和输出不一致（比如中文翻译成英文，词的数量不一致）Sequence to Sequence :序列到序列的任务，（如翻译、语音识别）今天只讲，一个向量对应一个标签，该任务又称Sequence Labelingself attention ：专注整个序列的信息FC：专注某个位置的信息下面看self ..

《基于感知损失函数的实时风格转换和超分辨率重建》笔记+转载翻译翻译地址在这儿：基于感知损失函数的实时风格转换和超分辨率重建 (zhwhong)原论文下载地址：点这儿笔记1.图像转换任务的一个处理方法是在有监督模式下训练一个前馈卷积神经网络，用逐像素差距作损失函数来衡量输出图像和输入图像的差距。用途：超分辨率重建，图像上色，图像分割，深度和表面预测等。优势：在测试时，只需要一次前馈的通过已训练好的网络。缺点：逐像素求差的损失函数无法抓住输入及输出图像在感知上的差距。举个例子，考虑两张一模一样的

红色框表示生成的region proposals合并最相似的两个框框，相似的指标是颜色，纹理，大小等等合并其实就是找两个框的外切矩形，然后把红色小框去掉，只剩下合并后的框继续合并，直到把初始的红色小框全部合并掉...