- 博客(173)
- 收藏
- 关注
RSS订阅
原创 Python基础知识体系树
Python具有许多独特的特点，使其成为开发者钟爱的编程语言之一：Python在各个领域都有广泛的应用，包括但不限于：Python有两个主要版本：和。这两个版本之间有一些重要的区别：1.2、Python基础1.2.1、注释单行注释：；多行注释或回车1.2.2、关键字、保留字1.2.3、标识符标识符：字母、数字、下划线组成；不能以数字开头；大小写敏感1.2.3.2、垃圾回收机制(GC)Python解释器自带的GC主要运用来跟踪和回收垃圾（不可用变量）在的基础上，还可以通过解决容器对象可能产
2023-08-06 16:28:00
955
原创 信息熵、条件熵、信息增益、信息增益比与基尼指数
例如，“太阳从东边升起”，这条信息并没有减少不确定性，因为太阳肯定是从东边升起的，这是一句废话，信息量为0。因为中国队进入世界杯的不确定性因素很大，而这句话消除了进入世界杯的不确定性，所以按照定义，这句话的信息量很大。例如，对于0-1分布的问题，由于其结果只用两种情况：发生与不发生，设某一件事情发生的概率为P(x) ，则该事情不发生的概率为1−P(x) ，则其信息熵为。上式表示Y的条件概率分布的熵对X的期望。信息增益表示信息X使信息Y的不确定性减少的程度，即信息X让信息Y的不确定性降低。
2024-04-28 15:37:56
371
原创 哪些情况下左联接的数据量比左表大？
本文主要探讨SQL和Pandas左连接数据量比左表大的问题。在某些情况下，执行左连接时，SQL和Pandas输出的结果会比左表数据量大。这是为什么呢？左连接是关系型数据库中最常见的连接之一。它的作用是从左表中取出所有的行，以及与右表匹配的所有行。如果某个行在右表中没有匹配到，则会在输出结果中以NULL的形式呈现1）左表与右表为一对多或多对多2）左表与右表关联键都存在空值NULL1）视情景删除或聚合右表中重复关联键的数据2）过滤表中关联键值为NULL的行。
2024-04-26 11:15:01
248
原创 Scikit-Learn支持向量机分类
在机器学习中，支持向量机（Support Vector Machine，SVM）算法既可以用于回归问题（SVR），也可以用于分类问题（SVC）支持向量机是一种经典的监督学习算法，通常用于分类问题。SVM（分类）在机器学习知识结构中的位置如下：SVM的核心思想是将分类问题转化为寻找分类超平面的问题，并通过最大化分类边界点（支持向量）到分类平面的距离（间隔）来实现分类如图所示，左图展示了三种可能的线性分类器的决策边界，虚线所代表的模型表现非常糟糕，甚至都无法正确实现分类；
2024-04-19 17:52:27
1299
原创 SparkSQL允许左联接的数据量大于左表数据量？
本次问题可以概括为：由一个join改为left join而引发的数据倾斜问题，并且一开始还当成了OOM处理。看似一个不起眼的举动，往往会产生意想不到的结果。这就是蝴蝶效应由于原来是join时SQL没有出现过数据倾斜问题，而这恰好让我们忽略了空值Key的问题。因此，我们应该时刻关注细节，细节决定成败！通过本次问题，现总结以下两点：
2024-04-18 18:07:16
711
原创 如何发布自己的Python库？
为什么我们要发布自己的Python库？如果你想让你的Python代码，通过的方式供所有人下载，那就需要将代码上传到PyPi上，这样才能让所有人使用那么，如何发布一个Python库呢？本文将通过具体实践为你提供一份简明的指南。
2024-04-14 18:35:36
374
原创 泰坦尼克号幸存者预测
在上篇泰坦尼克号幸存者数据分析中，我们对泰坦尼克号的幸存者做了数据分析，通过性别、年龄、船舱等级等不同维度对幸存者进行了分类统计，回答了哪些人可能成为幸存者本文我们将对泰坦尼克号数据集应用特征工程、训练分类模型并对幸存者进行预测特征工程是机器学习工作流程中重要的组成部分，它是将原始数据转化成模型可理解的形式的过程。如何基于给定数据来发挥更大的数据价值就是特征工程要做的事情在2016年的一项调查中发现，数据科学家的工作中，有超过80%的时间都在获取、清洗和组织数据；构造机器学习流水线的时间不到20%。
2024-04-12 17:38:35
728
原创 Pandas分箱/离散化cut()与qcut()的区别
例如，如果对年龄进行分箱，0-1岁是婴儿，1-12岁是孩子，12-18岁是青少年，18-60岁是成年人，60岁以上是老年人。默认情况下，它被设置为False，因此，当Pandas看到我们传递的列表时，它将把2008年排除在计算之外。时，我们告诉Pandas将数据列切成5个相等的量级，即0-20%，20-40%，40-60%，60-80%和80-100%桶/箱。可以看到，分箱的边缘是不等宽的，因为它要容纳每个桶1/3的值，因此它要自己计算每个箱子的宽度来实现这一目标。边缘的间距大小是相等的，每个。
2024-04-07 15:20:46
851
原创 泰坦尼克号幸存者数据分析
这是一艘号称当时世界上最大的邮轮，船上的人年龄各异，背景不同，有贵族豪门，也有平民旅人，邮轮撞击冰山后，船上的人马上采取措施安排救生艇转移人员，从本次海难中存活下来的，也就是幸存者。：各等级船舱中男性乘客多于女性乘客，但是女性乘客的获救比例都高于男性乘客。不同等级船舱的女性乘客的获救率高于男性，这可能是女士优先的原因。：小孩、青少年、成年人、老年人的获救比例依次从高到低，小孩的获救比例最高，老年人的获救比例最低。船舱等级对于乘客的获救率存在较大的影响。不同等级船舱的男性乘客与女性乘客的获救率。
2024-04-03 17:49:28
779
原创 Scikit-Learn K均值聚类
K-Means算法通过把样本分离成n个具有相同方差的类的方式来对数据进行聚类，最小化一个称为惯量或簇内平方和的准则。该算法需要指定簇的数量。K-Means算法的基本原理是：根据样本特征的相似度或距离远近，将样本（N个点）划分成若干个类（K个集群），使得每个点都属于离其最近的中心点（均值）对应的类（集群）根据算法原理，常用的聚类算法可分为：基于划分的聚类算法K-Means、基于层次的聚类算法HC、基于密度的聚类算法。K-Means假设一个样本属于一个类，K-Means的类别是样本的中心（均值）；
2024-04-02 18:07:28
946
原创 数据预处理：离散化
离散化（也称量化或分箱）是一种数据预处理技术，用于将连续的数值型的数据转换为离散的分类的标签。某些具有连续特征的数据集可能会从离散化中受益，因为离散化可以将连续属性的数据集转换为仅具有名义属性的数据集这种处理方式主要应用于一些需要转化为分类问题的数据集，如机器学习和数据挖掘中的输入变量。离散化的原理主要是通过将连续的数值属性转化为离散的数值属性来实现数据的转化这个过程通常会采用分箱（Binning）的方法。
2024-03-29 15:15:38
793
原创 数据预处理：特征编码
在机器学习中，处理离散属性（分类特征/类别特征）是一个重要的任务，需要将离散属性转换为可供模型使用的数值表示机器学习算法本质上都是在基于矩阵做线性代数计算，因此参加计算的特征必须是数值型的，对于非数值型的特征需要进行编码处理分类特征是用来表示分类的，分类特征是离散的，非连续的。例如性别（男/女）、等级（优/良/合格）等有些分类特征也是数值，例如，账号ID、IP地址等，但是这些数值并不是连续的。连续的数字是数值特征，离散的数字是分类特征。
2024-03-28 15:49:53
632
原创 Scikit-Learn K近邻分类
但需要注意的是，和K-Means不同，当K值很大时，错误率会更高，例如我们共有35个样本，当K增大到30时，数据的预测会把更多距离较远的数据也放入比较，最终导致预测偏差较大。K近邻（K-Nearest Neighbors，KNN）又称最近邻，意思是K个最近的邻居，是一种有监督的学习分类器，虽然它可以用于回归问题，但它通常用作分类算法。）会将样本数据按照一定比例拆分成训练数据和验证数据，然后从选取一个较小的K值开始，不断增加K的值，然后计算验证数据的误差，最终找到一个比较合适的K值。
2024-03-25 18:04:18
1243
原创 Scikit-Learn逻辑回归(二)
上篇中，我们详细介绍了逻辑回归的概念、原理和推导，以及Scikit-Learn线性回归模型在鸢尾花数据集中的应用。可以看到，在逻辑回归中应用了多项式特征后，我们训练出的新模型对样本数据的预测评分达到了0.96。从图中可以看到，我们线性决策边界明显无法将样本分成两类，训练的模型准确度评分很低。如果逻辑回归处理的是不规则决策边界的分类问题，那么我们就应该多考虑运用多项式回归。从样本数据图可以看出，二分类的决策边界应该是一个圆或椭圆。而逻辑回归（二分类）的线性决策边界（详见上篇）为。，则变换圆的标准方程可得。
2024-03-21 11:52:21
396
原创 列表如何按元素或元素的特定规则分组？
字典可以实现列表的分组操作。可以将元素或元素的特定规则作为字典的键，将元素作为字典的值。如果字典中已经存在该键，则将元素附加到该键对应的值的列表中。的工具类，可以方便地创建一个字典，同时为不存在的键提供默认值。可以使用该类来实现将列表按值分组的功能。列表如何按元素或元素的特定规则进行分组？
2024-03-18 17:18:23
404
原创 Python处理大型(＞1GB)文件的正确姿势
Dask是Pandas官方推荐使用的一个用于并行和分布式计算大级别数据的Python库，Dask将数据分成多个分区并行计算，Dask DataFrame中的每个分区都是一个Pandas DataFrame，会将Dask DataFrame中的所有底层分区合并为一个Pandas DataFrame。Dask允许我们处理大于可用单台计算机RAM的数据，Dask可对TB级数据集进行分布式计算。参数将数据分成多个块读取，每个数据块包含chunksize行数据，以免发生内存不足的问题。
2024-03-15 17:04:23
438
原创 如何使用正则匹配整个字符串？
匹配整个字符串以大写字母开头，以小写字母或数字结尾，中间任意。匹配整个字符串以大写字母数字下划线组成（开头和结尾）中固定元字符为大写字母、任意0或多个字符、数字。如何使用正则匹配整个字符串？中固定元字符为大写字母、任意一个字符、数字。这样的字符串，我们希望只匹配第一个。方法要求整个字符串与模式完全匹配。忽略字符串中的大小写进行匹配。这样的字符串，可以使用如下。如果字符串比较特殊，例如像。的字符串，此时可以使用。
2024-03-13 11:57:29
400
原创 Python办公自动化之PDF(二)
PyMuPDF（也称Fitz）开源，提供了一整套用于处理PDF文件的综合工具。使用PyMuPDF，用户可以高效地执行打开PDF、提取文本、图像和表格、操作旋转和裁剪等页面属性、创建新PDF文档以及将PDF页面转换为图像等任务从命名形式中可以看出，PyMuPDF是MuPDF的Python接口形式。MuPDF是一个轻量级的PDF、XPS和电子书查看器MuPDF中的渲染器专为高质量抗锯齿图形量身定制，它以精确到像素的几分之一内的度量和间距呈现文本，以在屏幕上再现打印页面的外观时获得最高保真度文档阅读。
2024-03-08 17:49:38
599
原创 PDFPlumber解析PDF文本报错：AssertionError: (‘Unhandled’, 6)
在尝试了ChatGPT的一些建议后，确定可能是PDF本身的原因，因此考虑使用其他库。确认PDF文件没有损坏，并且是文本格式的PDF而不是扫描的图像。可以考虑使用其他PDF处理库，如PyPDF2或PyMuPDF等。添加异常处理，这样即使遇到错误也不会导致程序崩溃。看来是PDF本身的原因，我们的PDF可能已经损坏。等其他方法，这取决于你需要提取的内容类型。模块提取PDF文本时。
2024-03-08 16:57:00
727
原创 如何判断字符串以数字或指定正则开头？
如何判断字符串以数字或指定正则表达式开头？该方法可用于判断目标字符串是否以匹配的正则表达式开头，如果匹配，则返回。这样的字符串，我们可以考虑使用正则表达式的方式。这种字符串，要判断它是否以。和数字开头，该如何判断？判断字符串是否是大写、判断字符串是否是数字等。
2024-03-08 16:27:10
457
原创 Scikit-Learn逻辑回归(一)
逻辑回归（Logistic Regression）主要解决二分类问题，用来表示某个事件发生的可能性。逻辑回归在机器学习知识结构中的位置如下：逻辑回归的思想最早可以追溯到19世纪，由英国统计学家Francis Galton在研究豌豆遗传问题时首次提出。然而，真正将逻辑回归应用于机器学习的是加拿大统计学家Hugh Everett，他在1970年代提出了广义线性模型（GLM），其中包括逻辑回归逻辑回归这个算法的名称有一定的误导性。虽然它的名称中有“回归”，当它在机器学习中不是回归算法，而是分类算法。
2024-02-26 18:05:26
1393
原创 Hive表字段值中存在换行符，查询结果混乱进而导致插入失败
从上面结果可以看到，若Hive表字段值中存在换行符，MapReduce和Spark引擎的查询结果出现混乱。自动化调度系统在按周期天执行数据迁移（出库）任务时，在执行到某条SQL时报错，最终导致任务失败。由于我们的调度系统设置的执行引擎为Spark，因此，原本查询的一行结果会被字段值中的换行符。报错信息提示语法问题，可是检查SQL发现也没有什么语法问题，这到底是怎么回事呢？这样，我们的数据才会显示正常，报错问题也就解决了。转换为多行，查询结果结构混乱，最终导致插入失败。使用两个反斜杠，即一个反斜杠用来转义。
2024-02-23 15:18:11
446
原创 如何在Python中执行Shell脚本？
Python作为一种强大的脚本语言，其易用性和灵活性使得它成为自动化任务的理想选择。在Python中执行Shell脚本可以实现一些操作系统级的功能，使程序更加灵活、易理解和易维护在某些场景下，我们可能需要在Python程序中执行Shell命令。自动化部署：在部署应用程序时，我们可能需要执行一系列Shell命令，例如创建文件夹、复制文件等系统管理：在管理服务器或操作系统时，我们可能需要执行一些Shell命令来获取系统信息、监控状态等数据处理。
2024-02-22 22:47:27
1100
原创 排列与组合
定义：从n个不同元素中，任取m（m≤n，n和m都为自然数）个不重复的元素组成一个子集，而不考虑其元素的顺序，叫做从n个不同元素中取m个元素的一个组合；从n个不同元素中取出m个元素的所有组合的个数，叫做从n个不同元素中取m个元素的组合数，用符号。定义：从n个不同元素中，任取m（m≤n，n和m都为自然数）个不重复的元素按照一定的顺序排成一列，叫做从n个不同元素中取m个元素的一个排列；从n个不同元素中取出m个元素的所有排列的个数，叫做从n个不同元素中取m个元素的排列数，用符号。是将由排列带来的有顺序的组合去重。
2024-02-22 11:16:02
386
原创 如何使用逻辑回归处理多标签问题？
OvO（One vs One）方法是指从多个类别中任意抽取出两个类别，然后将对应的样本输入到一个逻辑回归的模型中，学习到一个对这两个类别的分类器，然后重复以上的步骤，直到所有类别两两之间都学习到一个分类器。将新样本分别输入训练好的3个分类器：第一个分类器会认为它是一个十字星，第二个分类器会认为它偏向三角形，第三个分类器会认为它是十字星，经过3个分类器的投票之后，可以预测红色圆圈位置所代表的数据的类别为十字星。现在，我们有一个在红色圆圈位置的数据，如下图，通过上述方法，我们如何预测的这个数据是哪一类？
2024-02-22 10:47:57
527
原创 逻辑回归的输出值为什么可以作为概率？
函数是伯努利分布的联结函数的反函数，它将线性函数映射到了伯努利分布的期望上，而伯努利分布的期望本身就是概率，因此，逻辑回归得到的输出可以代表概率，也正是因为它代表概率，才落在。广义线性模型中，每一个分布都对应存在一个正则（规范）联结函数（Canonical Link Function），这一函数的反函数可以将线性函数映射到该分布的期望。每一个特定的广义线性模型对应一个特定的分布，例如我们之前提到的线性回归模型，对应的是正态分布。），该函数将线性函数映射到伯努利分布的期望上，使其输出可以作为概率。
2024-02-21 11:32:13
946
原创 逻辑回归为什么使用交叉熵而不用均方差？
函数）的梯度成正比，当预测值接近于1或0时，梯度会变得非常小，几乎接近于0，这样会导致当真实值与预测值差距很大时，损失函数收敛的很慢，无法进行有效学习，与我们的期望不符合。而信息熵是一个常数，并且在计算的时候，交叉熵相较于KL散度更容易，所以我们直接使用了交叉熵作为损失函数。因此，如果使用均方差损失，训练的时候可能看到的情况是预测值和真实值之间的差距越大，参数调整的越小，训练的越慢。函数的梯度的影响，且真实值与预测值的差越大，损失函数的梯度就越大，更新的速度也就越快，这正是我们想要的。
2024-02-20 17:53:11
1061
原创 Hive与Presto中的列转行区别
Hive、Spark和Presto都提供了这种实现，但有所不同。下面通过这个案例介绍三者之间的区别及注意事项。在处理数据时，我们经常会遇到一个字段存储多个值，这时需要把一行数据转换为多行数据，形成标准的结构化数据。不会自动过滤被转换列和转换列字段值为空的数据，因此此方式数据不会丢失。会自动过滤被转换列和转换列字段值为空的数据，进而导致数据丢失。例如，将下面的两列数据并列转换为三行，使得。使用PrestoSQL的交叉连接。Hive和Spark都可以使用。
2024-02-04 22:53:34
1172
原创 逻辑回归简介
1、情景描述2、逻辑回归2.1、逻辑回归的概念2.2、逻辑回归的原理及推导2.3、逻辑回归的解3、交叉熵与交叉熵损失函数3.1、交叉熵3.2、交叉熵损失函数。
2024-02-04 21:23:07
463
原创 机器学习数学基础
向量可以形象化地表示为带箭头的线段，箭头所指的方向代表向量的方向，线段的长度代表向量的大小。张量是一种泛化的多维数组概念，它可以是任何维度（秩）的，例如向量（矢量）是一阶张量，矩阵是二阶张量，高于二维的称为三阶张量、四阶张量等。总的来说，标量是最简单的数据形式，而向量、矩阵和更高维度的张量则是复杂度逐渐增加的多维数据结构，它们在现代科学和技术的许多领域中都扮演着重要角色。对于行列数相同的两个或多个向量，点积运算就是对这两个或多个向量对应位相乘后求和的操作，点积的结果是一个标量。
2024-01-31 17:56:06
2618
1
原创 数据预处理：纠偏
纠偏是指将偏态分布的数据转换为正态分布的数据。为什么要进行纠偏呢？数据整体服从正态分布，则样本均值和方差相互独立。正态分布具有很多很好的性质，很多模型的前提都是假设数据服从正态分布的例如，线性回归，它假设误差服从正态分布，从而每个样本点出现的概率就可以表示成正态分布的形式，将多个样本点连乘再取对数，就是所有训练集样本出现的条件概率，最大化这个条件概率就是线性回归最终要求解的问题。这里这个条件概率的最终表达式的形式就是我们熟悉的误差平方和。
2024-01-29 17:49:37
435
原创 数据预处理：缺失值处理
由于各种原因，现实世界的许多数据集包含缺失值，通常将其编码为空白，NaN或其他占位符。但是，此类数据集与Scikit-Learn估计器不兼容，后者假定数组中的所有值都是具有含义的数字使用不完整数据集的基本策略是舍弃包含缺失值的整行或整列。但是，这是以丢失可能有价值的数据为代价的（即使数据不完整）。更好的策略是估算缺失值，即从数据的已知部分推断出缺失值缺失值的处理是数据预处理中非常重要的一步，因为很多机器学习算法都假设数据是完整的，算法的执行过程中没有考虑缺失值的影响。
2024-01-29 15:49:58
950
原创 sklearn.preprocessing中的标准化StandardScaler与scale的区别
标准化主要用于对样本数据在不同特征维度进行伸缩变换，目的是使得不同度量之间的特征具有可比性，同时不改变原始数据的分布一些机器学习算法对输入数据的规模和量纲非常敏感，如果输入数据的特征之间存在数量级差异，可能会影响算法的准确性和性能标准化处理的好处是我们在进行特征提取时，可以忽略不同特征之间由于噪声所导致的度量差异，而保留样本在各个维度上的信息分布，提高算法的准确性和性能，增加数据的可解释性计算数据列的算数平均值（mean）计算数据列的标准差/方差（std）scale()函数和。
2024-01-29 14:27:38
646
原创 Python如何按指定列的空值删除行？
那么，如何按指定列的空值删除行而不影响其他有空值的列的空值所在的行？那么，滑动后，最前面的空值我们要想使用指定列的值填充应该怎么操作呢？我们知道，Pandas的。
2024-01-24 14:40:57
689
原创 Excel象限图
平常我们在工作中做图表时，使用最多的就是柱状形、折线图、饼图，这些图表主要为了展示趋势、对比和构成，但有时候我们需要发现两个指标之间的关系，此时就需要使用到象限图，象限图可以是散点图，也可以是气泡图。在右边的标签包括中取消默认使用的Y值标签，选择单元格中的值（自定义），在弹框中选择数据标签区域（类别列值），点击确定，这样，我们的数据标签就添加好了。系列名称选择类别列数据，X轴选择供给数据，Y轴选择需求数据，控制气泡大小我们使用需求列的值，点击确定，点击插入气泡图，这里需要注意的是，先不要选择数据。
2024-01-22 16:06:26
774
原创 Impala：基于内存的MPP查询引擎
Impala是Cloudera公司主导研发的高性能、低延迟的交互式SQL查询引擎，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。Impala主要用于解决Hadoop生态圈无法支持交互式查询数据的痛点，Impala是CDH平台首选的PB级大数据实时交互式查询分析引擎2015年11月，Cloudera将Impala捐赠给了Apache基金会，2017年11月，Impala从Apache孵化器毕业。
2024-01-20 17:41:31
829
原创 UI设计（资源）
免费字体：花瓣(素材)：加载图标：可视化规范：阿里矢量图标库：可视化地图：PPChart可视化图表：MCChart可视化图表：Made A Pie可视化图表：华为云UI组件库：
2024-01-18 22:46:02
515
原创 实用工具（资源）
翻译插件：截图工具：图像提升：图像ORC：免费抠图：在线抠图在线抠图：转矢量图：改图鸭(图像处理)：奇迹秀工具箱：羽兔网PS下载：PDF转WORD(记灵)：PDF在线工具：视频去字幕水印(腾讯智影)：
2024-01-18 22:04:48
399
原创 Python如何读取大文件？
Python提供了多种方法用来读取文件，例如，使用Python的标准文件读取流程，即使用。但是，如果文件过大，这种方式可能会导致内存不足的问题，因为它需要将整个文件读入内存中。方法并指定块大小读取文件，这样就可以有效的避免内存不足的问题。如果需要处理大文件，可以使用。函数打开一个文件，然后使用。函数先打开文件，然后使用。方法逐行读取文件内容。
2024-01-17 23:09:19
410
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人