- 博客(246)
- 收藏
- 关注
RSS订阅原创 阿里云验证码短信发送服务搭建（flask)
填写sign_name、 ALIBABA_CLOUD_ACCESS_KEY_ID、ALIBABA_CLOUD_ACCESS_KEY_SECRET。3.验证码有限制次数，比如1min只能发送一次，1h只能发送xx次，一天只能发送xx次。注意作者此处使用了数据库操作方法更改状态，读者可以使用redis等数据库操作。1.验证码只能被验证一次，所以需要状态字段。4.验证码由random包生成四位随机数字。2.验证码有失效时间，超出时间后则失效。web.py是我们的主文件。因此，我们创建数据表。
2024-10-17 17:37:00
363
原创 OCR两篇革命之作
参考mPLUG-DocOwl 2聚焦多页文档理解，兼顾效果和效率，在大幅缩减单页视觉token的前提下实现了多页文档理解的SOTA效果。仅用324个token表示文档图片也能还原出图片的文字信息和布局信息，验证了当下多模态大模型几千的文档图片视觉表征存在较大的token冗余和资源的浪费。mPLUG团队会持续优化DocOwl并进行开源，同时希望DocOwl 2能抛砖引玉，让更多的研究人员关注到多模态大模型对于高清文档图片的冗余编码问题，欢迎大家持续关注和友好讨论！
2024-09-19 10:01:07
861
原创 paddle ocr 文字识别模型训练 svtr
○ 包含汉字、英文字母、数字和标点共5990个字符（字符集合：https://github.com/YCG09/chinese_ocr/blob/master/train/char_std_5990.txt ）参考：https://github.com/PaddlePaddle/PaddleOCR/blob/main/doc/doc_ch/dataset/datasets.md。训练后参数分布会变，所以预测的图片与训练的图片分布相似时，准确率会更高。如果用预训练模型预测，准确度只有68%
2024-07-27 08:29:27
1296
原创 paddleocr icdar2015数据集训练dbnet检测模型
训练过程中，默认保存两种模型，一种是latest命名的最新训练的模型，一种是best_accuracy命名的精度最高的模型。下载地址：https://paddleocr.bj.bcebos.com/dataset/total_text.tar。下载地址：https://paddleocr.bj.bcebos.com/dataset/TD_TR.tar。数据集包含了多种复杂的文本样本，包括多行文本、曲线文本、不同字体和大小的文本。数据集涵盖了多种文本样本，包括复杂的背景、多行文本、不同字体和大小的文本。
2024-07-18 15:36:00
888
原创 paddle ocr模型量化实践
标准的蒸馏方法是通过一个大模型作为 Teacher 模型来指导 Student 模型提升效果，而后来又发展出 DML 互 学习蒸馏方法，即通过两个结构相同的模型互相学习，相比于前者，DML 脱离了对大的 Teacher 模型的依赖， 蒸馏训练的流程更加简单，模型产出效率也要更高一些。复杂的模型有利于提高模型的性能，但也导致模型中存在一定冗余，模型裁剪通过移出网络模型中的子模型来减少这种冗余，达到减少模型计算复杂度，提高模型推理性能的目的。4.导出模型、预测部署。1.准备训练好的模型。2.准备训练好的模型。
2024-04-26 17:49:54
1351
2
原创 mmocr安装和使用
MMOCR 是基于 PyTorch 和 mmdetection 的开源工具箱，专注于文本检测，文本识别以及相应的下游任务，如关键信息提取。它是 OpenMMLab 项目的一部分。
2024-03-26 21:05:57
703
原创 window paddle dection安装记录（cuda 12.2,python3.10)
conda创建环境测试快速体验目标检测效果在GPU上预测一张图片更改visualizer.py的代码。
2024-03-23 09:24:52
605
原创 深度学习 tablenet表格识别实践记录
它是一个端到端模型，将文档分辨率为 1024x1024 的图像作为输入，并生成两个语义标记的输出，一个用于图像中的表，另一个用于表中的列，分别称为表和列掩码。生成这些掩码后，使用表掩码从图像中过滤表格。值得一提的是，ResNet-18 和 EfficientNet 的性能几乎接近 DenseNet，但选择了基于测试数据的最佳 F1 分数的模型。类似于编码器-解码器模型，编码器对图像中表的位置和结构信息进行编码，解码器使用这些信息为表和列生成掩码。检测到的表的行和列中检测和提取信息，称为表结构识别。
2024-03-20 14:09:35
1041
原创 pycorrector检测OCR错字实践
stopwords.txt 添加专业停用词，避免错误设置自定义词典，避免将正确的词错误检测成错误的词去掉拼音纠正（OCR不会出现同音错误,更正后检测到的数量少了30%）更改corrector.py内容，路径类似 miniconda/envs/env_name/lib/python3.x/site-packages/pycorrector/corrector.py。
2024-03-20 10:59:51
598
原创 图像转pdf （python）
img2pdf包：https://github.com/josch/img2pdfpip install img2pdfimg2pdf是一个用于将光栅图像无损转换为PDF格式的工具包。使用img2pdf时，优先事项按顺序应为：始终无损：嵌入PDF中的图像将始终具有与输入的每个像素相同的颜色信息；文件较小：如果可能的话，输入图像和输出PDF之间的文件大小差异将仅为PDF容器本身的开销。先创建一个文件夹保存压缩后的图片图片转pdfimport osimport img2pdffrom PIL i
2024-03-19 11:47:24
537
原创 《计算机视觉中的深度学习》之目标检测算法原理
减少目标定位的准确度减少背景干扰提高目标定位的准确度目标检测系统常用评价指标：检测速度和精度提高精度：有效排除背景，光照和噪声的影响提高检测速度：精简检测流程，简化图像处理算法算法概述：传统目标算法、基于候选区域的两步算法、基于回归的单步算法1.传统目标算法对于区域选择，传统目标检测最常用的两种模型是滑动窗口模型与缩放窗口模型。滑动窗口模型，顾名思义，是通过设计好的窗口在图像上进行滑动来检测目标。基于滑动窗的检测算法的主要实现方法有两种，分别为缩放检测图像法和缩放窗口法。
2024-03-16 09:38:11
1242
原创 语义分割semantic segmention 与 FCN
我们通过继承高级API提供的Dataset类，自定义了一个语义分割数据集类VOCSegDataset。通过实现__getitem__函数，我们可以任意访问数据集中索引为idx的输入图像及其每个像素的类别索引。由于数据集中有些图像的尺寸可能小于随机裁剪所指定的输出尺寸，这些样本可以通过自定义的filter函数移除掉。此外，我们还定义了normalize_image函数，从而对输入图像的RGB三个通道的值分别做标准化。normalize均值为0方差为1#@save。
2024-03-15 19:23:18
840
原创 camelot pdf提取表格实践（记录）
camelot方法有两种解析模式：流解析（stream）、格子解析（lattice），其中格子解析能够保留表格完整的样式，对于复杂表格来说要优于流解析模式。同时，camelot方法默认格子解析（lattice），而采用这种解析方式，需要安装ghostscript。ModuleNotFoundError: No module named ‘Workbook’ xlwt，是版本太低，升级版本即可。效果会更好，但是也有少部分数据可能错行。识别效果：不太理想，文本排序有问题。下载ghostscript。
2024-03-15 19:14:21
789
原创 DB算法原理与构建
DB的Backbone用于提取图像的多尺度特征，如下代码所示，假设输入的形状为[640, 640]，backbone网络的输出有四个特征，其形状分别是 [1, 16, 160, 160]，[1, 24, 80, 80]， [1, 56, 40, 40]，[1, 480, 20, 20]。输入的图像经过网络Backbone和FPN提取特征，提取后的特征级联在一起，得到原图四分之一大小的特征，然后利用卷积层分别得到文本区域预测概率图和阈值图，进而通过DB的后处理得到文本包围曲线。，更好的分离文本背景与前景。
2024-03-14 17:39:46
1984
原创 windows 安装cuda 11.2过程记录
3.安装 cudnn 需要将以上三个文件复制到CUDA的安装目录(cuda安装目录：C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.2)中。在显卡驱动被正确安装的前提下，在命令行里输入nvidia-smi.exe。运行cmd，输入nvcc --version 即可查看版本号；此处需要下载的是 cuDNN v8.9.7。需要注册nvidia账号，才能下载。nvcc -V 验证是否安装成功。
2024-03-14 15:53:29
899
原创 目标检测C-RNN,Fast C-RNN,Faster C-RNN,SSD,Mask R-CNN 理论简单介绍
参考：https://zh-v2.d2l.ai/chapter_computer-vision/multiscale-object-detection.htmlR-CNN 及系列区域卷积神经网络 region-based CNNR-CNNR-CNN首先从输入图像中选取若干（例如2000个）提议区域，并标注它们的类别和边界框（如偏移量）。用卷积神经网络对每个提议区域进行前向传播以抽取其特征。 接下来，我们用每个提议区域的特征来预测类别和边界框。R-CNN步骤：对每张图选择多个区域，然后每个区
2024-03-13 21:13:20
1025
原创 opencv官网 Blob检测
将blobColor设为0以选择较暗的Blob，设为255则选择较亮的Blob。基于大小：你可以通过设定参数filterByArea为1，并设置合适的minArea和maxArea值，从而根据Blob的大小进行过滤。用于检测图像中的斑点或目标区域的方法，它可以识别具有特定属性（如颜色、大小、形状等）的连通区域。Blob 是图像中一组连接的像素，它们共享一些共同属性（例如，灰度值）。在上图中，深色连接区域是 Blob，Blob 检测旨在识别和标记这些区域。圆度： 这个参数衡量的是Blob接近圆形的程度。
2024-03-05 16:44:13
1023
原创 找出异常点 python
zscore原理：Z-score 基于正态分布理论，它量化了数据点距离数据集平均值的相对标准偏差。通常，如果 Z-score 的绝对值超过某个阈值（如3或更大），该数据点就被认为是异常值。这是因为正态分布下，大约99.7%的数据点应当落在平均值 ± 3标准差的范围内。分位数IQRIQR 方法不依赖于数据的正态分布特性，而是基于数据的四分位数进行异常值检测。它关注的是数据内在的局部变异度，尤其适合处理非正态分布的数据。
2024-02-28 16:22:38
1543
原创 opencv内存溢出del释放变量 (python)
虽然每次循环变量都会被覆盖，但操作系统可能并未立即回收这部分内存，尤其是在大量分配和释放内存的过程中容易产生内存碎片，使得可用内存总量看似充足，但却难以分配连续的大块内存。OpenCV在处理图像时，可能在内部对原始图像数据进行了缓存，尤其是当图像较大时，即使img被重新赋值，之前图像的部分数据仍可能暂存在内存中，直到垃圾回收器有机会回收。加入检查函数后，发现每次循环后内存容量都增大。
2024-02-28 09:47:45
1079
原创 数据结构复习一 来自小灰漫画算法
算法：一系列程序指定，用于解决特定的运算和逻辑问题算法的应用：运算（如大数运算避免变量溢出） ，搜索，排序，最优决策等数据结构：数据组织、管理和存储的格式，目的是为了高效访问和修改数据数据结构组成:线性结构（数组，链表，栈、队列）树图其他：跳表、位图、哈西链表算法与数据结构relationship:不同算法选用不同数据结构，如堆排序使用二叉堆。
2024-02-27 22:17:32
355
原创 hanlp,pkuseg,jieba,cutword分词实践
总结：只有jieba,cutword成功将色盲色弱成功分对,这两个库字典应该是最全的。
2024-01-18 11:20:28
805
原创 opencv官网教程： 轮廓检测详解
阈值化把图像中目标的边界转化为白色，所有边界像素有同样灰度值（“same intensity”），算法就可以从这些边界白色像素，检测到目标物体的边界（黑色像素作为背景会被忽略）顶层轮廓表示对象的外部边界，而内部轮廓表示对象内部的孔洞边界。RETR_TREE：提取所有轮廓并重建轮廓的整个层级结构，每个轮廓包含子类信息。轮廓：链接物体边界的所有点，通常，轮廓指的是有相同颜色和密度的边界像素。RETR_LIST ：提取所有的轮廓，但不建立轮廓的整体层级关系。轮廓算法的准确率和质量高度取决于二进制图像的质量。
2023-10-29 11:19:41
1002
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人