- 博客(22)
- 收藏
- 关注
RSS订阅原创 利用PaddleOCR进行图片的跨页表格提取与合并（PDF扫描版）
在处理PDF文件中的表格时，常常会遇到表格跨页的情况。并且一些PDF文件为扫描版。这种情况下，如果要将跨页的表格合并为一个完整的表格，手动操作不仅繁琐且容易出错。因此，本文将介绍如何利用PaddleOCR和Python代码，自动化地检测并合并这些跨页表格。这些辅助函数用于提取PDF页面中的表格信息，并判断表格是否跨页。top_bottom_table_info：获取页面中最上方表格的列数和坐标。find_bottom_table_info：获取页面中最下方表格的列数和坐标。
2024-07-12 11:14:59
944
原创 使用Python自动识别和合并PDF中的跨页表格
在处理大量包含表格数据的PDF文档时，一个常见的挑战是这些表格可能跨越多页。手动合并这些表格不仅耗时，而且容易出错。幸运的是，通过使用Python和一些强大的库，我们可以自动化这一过程，有效地识别和合并跨页表格。这个函数接收一个PDF页面对象，使用pdfplumber库的find_tables()方法找到页面上的所有表格，并返回一个包含每个表格边界坐标的列表。每个表格的边界由一个四元组表示，包含左、顶、右、底的坐标。
2024-07-11 13:58:40
959
原创 Python 实现Word文档中提取表格数据并转换为CSV和JSON格式
在日常工作中，我们经常需要处理大量的Word文档，其中包含各种表格数据。手动整理这些表格不仅耗时且容易出错。因此，开发一个自动化工具来解析Word文档中的表格，并将其转换为更易于处理的CSV或JSON格式，可以极大地提高工作效率。通过这个脚本，可以轻松地从Word文档中提取表格数据，并将其转换为CSV或JSON格式，从而方便进一步的数据分析或导入到数据库中。节省了手动数据录入的时间，还减少了人为错误的可能性，提高了数据处理的效率和准确性。
2024-07-11 11:19:59
294
原创 大模型学习（常见名词、基础知识）
自图灵测试问世以来，人类便致力于让机器掌握语言智能，这一目标驱动着人工智能（AI）算法的持续发展。语言模型作为理解与生成自然语言的核心技术，经历了从统计语言模型（SLM）到神经语言模型（NLM）的演进，最终催生了基于Transformer架构的预训练语言模型，尤其是大语言模型（LLM）的崛起。与传统的统计语言模型依赖马尔可夫假设不同，现代的神经网络模型，如BERT和GPT系列，通过深度学习捕捉复杂的语言规律。
2024-06-27 16:57:48
823
原创 Python 语音识别系列-实战学习-DFCNN_Transformer的实现
此博客是基于华为云中的DFCNN_Transformer的教程进行的学习和实践。本文将介绍一个结合了深度全卷积网络（DFCNN）和Transformer的模型——DFCNN-Transformer，旨在提高中文语音识别的准确性和效率。注意该代码主要改进之处为将原先的TensorFlow-1.13.1版本的代码改进为TensorFlow-2.0+版本。以方便大家进行代码的实践。首先加载需要的python库import os定义声学模型。
2024-04-30 10:30:59
977
1
原创 Python 语音识别系列-实战学习-语音识别特征提取
语音识别特征提取是语音处理中的一个重要环节，其主要任务是将连续的时域语音信号转换为连续的特征向量，以便于后续的语音识别和语音处理任务。在特征提取阶段，这些特征向量能够捕捉到语音信号中的关键信息，如音调、音色和音节等。时域特征提取：包括自相关函数、方差、峰值等。频域特征提取：如傅里叶变换、快速傅里叶变换、波束傅里叶变换等。时频域特征提取：包括短时傅里叶变换、波形分解、时频图等。高级特征提取：涉及语言模型、语音模型、语音合成等。在具体实践中，语音特征提取的方法和技梅尔频率倒谱系数 (MFCC)
2024-04-28 11:17:04
1615
1
原创 Python 语音识别系列-实战学习之初识语音识别
在本篇博客中，将介绍语音识别的基础知识，包括其定义、工作原理以及如何使用 Python 进行简单的语音识别。随着人工智能技术的迅猛发展，语音识别已成为日常生活中不可或缺的一部分，从智能助手到自动客服系统，语音技术正变得越来越普及。语音识别，也称为自动语音识别（ASR），是将人类语音转换为文本的过程。这项技术利用算法解析语音信号，并将其转换为文字信息。语音识别技术可以使设备理解和响应用户的语音指令，从而提供更为直观和便捷的用户交互方式。
2024-04-25 10:13:21
1037
3
原创 深度学习系列-python实现-初步学习构建神经网络
在数字时代，数据已经成为了一种无处不在的资源。从商业分析到科学研究，从人工智能到机器学习，数据驱动的决策和预测已经成为了各行各业不可或缺的一部分。而在这一切的背后，神经网络和深度学习技术发挥着至关重要的作用。深度学习神经网络，是模拟人脑神经元连接和工作方式的一种计算模型。它们通过训练大量数据来学习和优化自身，从而能够处理复杂的模式和进行精确的预测。近年来，随着计算能力的提升和大数据的普及，深度学习已经在语音识别、图像识别、自然语言处理等领域取得了显著的突破。
2024-04-02 11:50:08
1083
2
原创 python 实现集成学习与随机森林（机器学习）
首先，导入几个常用模块，确保MatplotLib绘制图形，并准备一个保存图形的函数。还要检查是否安装了Python 3.5或更高版本(尽管Python 2。x可以工作，它已被弃用，因此建议使用Python 3代替)，以及Scikit-Learn≥0.20。
2024-03-08 10:05:38
760
1
原创 matplotlib全面教程
Matplotlib可以使用各种后端图形库(如Tk, wxPython等)输出图形。当使用命令行运行python时，图形通常显示在单独的窗口中。在Jupyter笔记本中，可以通过运行%matplotlib inline magic命令在笔记本本身中输出图形。更多了解可到Matplotlib官网进行学习。
2024-03-06 11:30:35
1083
2
原创 pandas的介绍和学习
pandas库提供了高性能、易于使用的数据结构和数据分析工具。主要的数据结构是DataFrame，您可以将其视为内存中的2D表(类似于电子表格，具有列名和行标签)。Excel中的许多功能都可以通过编程实现，例如创建数据透视表、基于其他列计算列、绘制图表等。还可以按列值对行进行分组，或者像在SQL中那样连接表。pandas在处理时间序列方面也很出色。先决条件:已了解NumPy -如果你不熟悉NumPy，建议先去学习NumPy教程。本教程适合在jupyter中运行。
2024-03-05 15:33:38
1154
原创 NumPy的学习，常用方法详解
NumPy是用Python进行科学计算的基础库。NumPy以一个强大的n维数组对象为中心，它还包含有用的线性代数、傅立叶变换和随机数函数。
2024-02-29 11:13:18
892
1
原创 NLP 使用词嵌入来表示文本
词嵌入词嵌入提供了一种使用高效、密集表示的方法，其中相似的单词具有相似的编码。该方法不需要手动指定编码。嵌入是浮点值的密集向量（向量的长度是你所指定的参数）。它们不是手动指定嵌入的值，而是可训练的参数（模型在训练期间学习的权重，就像模型学习密集层的权重一样）。通常可以看到 8 维的单词嵌入（对于小型数据集），在处理大型数据集时最多可达 1024 维。更高维度的嵌入可以捕获单词之间的细粒度关系，但需要更多的数据来学习。上图是单词嵌入的图表。每个单词都表示为浮点值的 4 维向量。
2024-02-20 10:21:43
887
1
原创 机器学习- K-Means聚类-mushroom dataset-蘑菇数据集 python scikit-learn
无监督学习- K-Means聚类K-Means聚类是一种无监督学习算法。在无监督学习中，机器学习模型在训练过程中没有得到标签。相反，它必须自己找出标签。K-Means聚类需要在训练前指定簇的数量。K-Means将随机分配数据样本到所有聚类的初始质心。这个步骤称为初始化。质心也被称为集群中心，它是集群中所有样本数据的平均值。然后将样本重新分配到最近的质心。通过取分配给每个先前质心的所有样本的平均值来找到所有簇的新质心。重复最后两个步骤，直到满足停止准则或新旧质心之差恒定为止。
2024-02-07 11:51:36
808
1
原创 介绍自然语言处理（NLP）中的文本处理—TensorFlow
智能机器不仅能看到世界，还能理解我们并与我们交谈。这一点也不夸张，其中虚拟助手互动，比如Siri、亚马逊Alexa和谷歌助手。在许多软件应用程序和网站上，我们与成千上万的聊天机器人进行互动。自然语言处理是一个跨学科的领域。它是计算机科学、机器学习和计算语言学的一个分支，涉及赋予计算机理解文本和人类语言的能力。NLP中常见的任务下面是一些可以用NLP完成的常见任务。文本分类情绪分析文本生成机器翻译语音识别文本到语音的转换光学字符识别自然语言处理的应用实例。
2024-02-07 09:20:10
1063
1
原创 机器学习-决策树-分类-汽车数据集-fetch_openml python scikit-learn
在这个使用决策树的分类任务中，将使用OpenML提供的汽车数据集来预测给定汽车信息的汽车可接受性。将使用Sklearn ’ fetch_openml '函数加载它。此次获取的数据的版本是2。在数据集的版本1中，目标类有4个类(unacc, acc, good, vgood)，但在第二个版本中，大多数类是Positive§，而其余的是Negative§。如果要查看版本1，可以在下面的单元格中更改版本参数。以下是有关数据的信息:buying:汽车的购买价格(vhigh, high, med, low)
2024-02-06 14:43:07
1441
1
原创 机器学习-决策树-回归-CPU(中央处理单元)数据-python scikit-learn
决策树是一种监督机器学习算法，用于回归和分类任务。树是可以处理复杂数据集的强大算法。不需要数值输入数据进行缩放。无论数值是多少，决策树都不在乎。不同于其他复杂的学习算法，决策树的结果是可以解释的，决策树不是黑盒类型的模型。虽然大多数模型都有缺失值的问题，但决策树却没有问题。树可以处理不平衡的数据集，只需要调整类的权重。树可以提供特征的重要性或每个特征对模型训练结果的贡献。树是随机森林和梯度增强机等集成方法的基本构建块。决策树的工作方式就像一系列if/else问题。
2024-02-06 13:58:14
968
1
原创 机器学习-支持向量机(SVM) -分类-鸢尾花-python scikit-learn
本实验将使用鸢尾花数据集。该数据集包含3个物种，分别是:“鸢尾”、“鸢尾”、“鸢尾”。这些物种就是我们所指的类别/类。特征是萼片长度、萼片宽度、花瓣长度、花瓣宽度。所有特征均以厘米(cm)为单位测量。每个物种有50个样本，所以所有物种有150个样本。这是关于使用支持向量机进行分类任务的实验的结束。SVM是一个健壮的算法，因为它支持不同的核。这些核使得它既适用于线性问题也适用于非线性问题。在现实世界中，许多数据集都不是线性的。所以当你不能用线性模型得到好的结果时，试试用多项式核的SVM。
2024-02-02 10:56:59
2387
原创 机器学习-支持向量机(SVM) -回归-python scikit-learn
支持向量机是一种用于回归、分类和检测异常值的监督学习算法。支持向量机是经典机器学习中非常强大的模型之一，适用于处理复杂的高维数据集。支持向量机支持不同的核(线性、多项式、径向基函数(rbf)和sigmoid)，支持向量机可以处理不同类型的数据集，包括线性和非线性。支持向量机的工作方式可以比作有边界线的间隔。在SVM训练过程中，SMV根据每个训练数据点的重要程度绘制类之间的较大裕度或决策边界。在决策边界内的训练数据点称为支持向量。这是一个使用支持向量机进行回归的实验介绍。
2024-02-02 10:10:46
1004
原创 机器学习-线性回归-python scikit-learn 房价预测
本教程在anaconda中的notebook进行实现，python版本3.10.9。线性回归-房价数据，scikit-learn。该模型很简单，因此可以尝试其他复杂的模型，如随机森林、决策树或集成方法。因为我们将在下一个实验中讨论这些模型。另外，需要注意的是，大多数情况下，如果您有一个简单的数据集，简单模型将工作得很好，因为复杂模型可能会过拟合数据。此外，好的模型来自好的数据，所以最好花时间整理数据，而不是在模型中来回跳来跳去。
2024-02-01 15:51:09
2538
3
原创 自然语言处理（NLP）
自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。因而它是计算机科学的一部分。
2024-02-01 10:22:21
3317
2
机器学习系列- 房价数据
2024-02-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人