- 博客(43)
- 收藏
- 关注
RSS订阅原创 机器学习 集成学习方法之随机森林
每棵树都在不同的数据子集和特征子集上进行训练，最终通过投票或平均预测结果来产生更准确和稳健的预测。这种方法不仅提高了预测精度，也降低了过拟合风险，并且能够处理高维度和大规模数据集。集成算法可以说从一方面验证了中国的一句老话：三个臭皮匠，赛过诸葛亮。集成算法大致可以分为：Bagging，Boosting 和 Stacking 三大类型。（1）每次有放回地从训练集中取出 n 个训练样本，组成新的训练集；（2）利用新的训练集，训练得到M个子模型；（3）对于分类问题，采用投票的方法，机器学习中有一种大类叫。
2025-05-20 16:57:54
495
原创 机器学习 决策树-分类
0(分母是5的原因)。具体来说，对于一个特征，我们计算其所有可能的分割点对应的子节点的加权平均基尼指数，然后选择最小化这个值的分割点。对于一个二分类问题，如果一个节点包含的样本属于正类的概率是 p，则属于负类的概率是 (1-p)。同时，当平台=0时，工作都是好，无需继续划分，当平台=1,2时，工作都是不好，也无需继续划分。对比属性信息增益发现，"收入"和"学历"相等，并且是最高的，所以我们就可以选择"学历"或"收入"作为第一个。同理，当工资=0时，有5个样本，在这五个样本中，工作有3个是不好，2个是好。
2025-05-20 15:27:04
1385
原创 机器学习 朴素贝叶斯分类
通过这种方法，即使某个特征在训练集中从未出现过，它的概率也不会被估计为零，而是会被赋予一个很小但非零的值，从而避免了模型在面对新数据时可能出现的过拟合或预测错误。它的含义是，如果A和A’构成样本空间的一个划分，那么事件B的概率，就等于A和A’的概率分别乘以B对这两个事件的条件概率之和。这样，朴素贝叶斯分类器就可以通过计算每种可能类别的条件概率和先验概率，然后选择具有最高概率的类别作为预测结果。除了条件概率以外，在计算p1和p2的时候，还要用到全概率公式，因此，这里继续推导全概率公式。
2025-05-20 11:34:05
985
原创 机器学习 模型选择与调优
可能发生的情况是，所有80%的 “0 “类数据都在训练集中，而所有 “1 “类数据都在测试集中。因此，我们的模型将不能很好地概括我们的测试数据，因为它之前没有见过 “1 “类的数据。每个分区被称为 一个”Fold”。，比如说：原始数据有3类，比例为1:2:1，采用3折分层交叉验证，那么划分的3折中，每一折中的数据类别保持着1:2:1的比例，这样的验证结果更加可信。在小数据集的情况下，有一部分数据将被保留下来用于测试模型，这些数据可能具有重要的特征，而我们的模型可能会因为没有在这些数据上进行训练而错过。
2025-05-19 15:53:26
1533
原创 机器学习 KNN算法
获取数据、数据处理、特征工程后，就可以交给预估器进行机器学习，流程和常用API如下。1.实例化预估器(估计器)对象(estimator)， 预估器对象很多,都是estimator的子类（1）用于分类的预估器sklearn.neighbors.KNeighborsClassifier k-近邻sklearn.naive_bayes.MultinomialNB 贝叶斯sklearn.linear_model.LogisticRegressioon 逻辑回归。
2025-05-17 15:49:51
1995
原创 机器学习 特征降维
实际数据中,有时候特征很多,会增加计算量,降维就是去掉一些特征,或者转化多个特征为少量个特征:是减少数据集的维度，同时减少计算成本：在高维空间中处理数据可能非常耗时且计算密集。降维可以简化模型，降低训练时间和资源需求。去除噪声：高维数据可能包含许多无关或冗余特征，这些特征可能引入噪声并导致过拟合。降维可以帮助去除这些不必要的特征。
2025-05-17 12:56:44
1185
原创 机器学习 特征工程
在数学和计算机科学中，当一个矩阵的非零元素数量远小于总的元素数量，且非零元素分布没有明显的规律时，这样的矩阵就被认为是稀疏矩阵。非稀疏矩阵，或称稠密矩阵，是指矩阵中非零元素的数量与总元素数量相比接近或相等，也就是说矩阵中的大部分元素都是非零的。在这种情况下，矩阵的存储通常采用标准的二维数组形式，因为非零元素密集分布，不需要特殊的压缩或优化存储策略。特征提取， 如果不是像dataframe那样的数据，要进行特征提取，比如字典特征提取，文本特征提取。VarianceThreshold 底方差过滤降维。
2025-05-08 20:02:46
921
原创 机器学习 数据集
Python语言机器学习工具Scikit-learn包括许多智能的机器学习算法的实现Scikit-learn文档完善，容易上手，丰富的API接口函数scikit-learn中文社区数据量小，数据在sklearn库的本地，只要安装了sklearn，不用上网就可以获取数据量大，数据只能通过网络获取。
2025-05-08 19:22:58
1568
原创 机器学习的基本介绍与定义
机器学习（Machine Learning）本质上就是让计算机自己在数据中学习规律，并根据所得到的规律对未来数据进行预测。机器学习包括如聚类、分类、决策树、贝叶斯、神经网络、深度学习（Deep Learning）等算法。机器学习的基本思路是模仿人类学习行为的过程，如我们在现实中的新问题一般是通过经验归纳，总结规律，从而预测未来的过程。
2025-05-06 16:31:45
1253
原创 opencv 霍夫变换
(Probabilistic Hough Transform)，是一种改进的霍夫变换，它在获取到直线之后，会检测原图中在该直线上的点，并获取到两侧的端点坐标，然后通过两个点的坐标来计算该直线的长度，通过直线长度与最短长度阈值的比较来决定该直线要不要被保留。函数返回一个二维数组，每个元素是一个包含4个元素的数组，分别表示每条直线的起始点和结束点在图像中的坐标（x1, y1, x2, y2）。，它会计算图像中的每一个点，计算量比较大，另外它得到的是整一条线（r和θ），并不知道原图中直线的端点。
2025-04-29 17:55:33
664
原创 opencv 霍夫直线变换的原理
那么对于一个二值化后的图形来说，其中的每一个目标像素点（这里假设目标像素点为白色像素点）都对应了霍夫空间的一条直线，当霍夫空间中有两条直线相交时，就代表了直角坐标系中某两个点所构成的直线。而当霍夫空间中有很多条线相交于一点时，说明直角坐标系中有很多点能构成一条直线，也就意味着这些点共线，因此我们就可以通过检测霍夫空间中有最多直线相交的交点来找到直角坐标系中的直线。在极坐标系下是一样的，极坐标中的点对于霍夫空间中的线，霍夫空间中的点对应极坐标中的直线。
2025-04-29 17:26:49
234
原创 opencv 模板匹配
需要先计算模板与目标图像的均值，然后通过每个像素与均值之间的差的乘积再求和来表示其匹配程度，越大越匹配，计算过程举例如下。与平方差匹配类似，只不过需要将值统一到0到1，计算结果越小，代表匹配程度越高，计算过程举例如下。与相关匹配类似，只不过是将其值统一到0到1之间，值越大，代表匹配程度越高，计算过程举例如下。也是将相关系数匹配的结果统一到0到1之间，值越接近1代表匹配程度越高，计算过程举例如下。找的目标图像中匹配程度最高的点，我们可以设定一个匹配阈值来筛选出多个匹配程度高的区域。最大值对应的最佳匹配位置。
2025-04-29 17:15:40
1627
1
原创 opencv 直方图均衡化
接下来我们就要进行计算，就是将要缩放的范围（通常是缩放到0-255，所以就是255-0）乘以累计比例，得到新的像素值，并将新的像素值放到对应的位置上，比如像素值为50的像素点，将其累计比例乘以255，也就是0.33乘以255得到84.15，取整后得到84，并将84放在原图像中像素值为50的地方，像素值为100、210、255的计算过程类似，最终会得到如下图所示的结果，这样就完成了最基本的直方图均衡化的过程。，图像的细节不够清晰且对比度较低的情况，然而，传统的直方图均衡化方法会引入噪声，
2025-04-29 12:39:01
1385
原创 opencv绘制图像轮廓，凸包特征检测，轮廓特征查找
轮廓是一系列相连的点组成的曲线，代表了物体的基本外形。相对于边缘，轮廓是连续的，边缘不一定连续，如下图所示。其实边缘主要是作为图像的特征使用，比如可以用边缘特征可以区分脸和手，而轮廓主要用来分析物体的形态，比如物体的周长和面积等，可以说边缘包括轮廓。
2025-04-22 16:52:46
1066
原创 opencv图像的梯度处理，边缘检测
是因为经过第二步得到的边缘不经过处理是没办法使用的，因为高斯滤波的原因，边缘会变得模糊，导致经过第二步后得到的边缘像素点非常多，因此我们需要对其进行一些过滤操作，幅值处于最高像素与最低像素之间时，如果它能连接到一个高于阈值的边缘时，则被认为是边缘像素，否则就不会被认为是边缘。Canny 边缘检测算法是一种非常流行的边缘检测算法，是 John F. Canny 于 1986年提出的，被认为是最优的边缘检测算法。通过这个公式我们就可以计算出图片中所有的像素点的梯度值与梯度方向，然后根据梯度方向获取边缘的方向。
2025-04-22 14:43:32
946
原创 opencv 双边滤波的原理
双边滤波的基本思路是同时考虑将要被滤波的像素点的空域信息（周围像素点的位置的权重）和值域信息（周围像素点的像素值的权重）。为什么要添加值域信息呢？是因为假设图像在空间中是缓慢变化的话，那么临近的像素点会更相近，但是这个假设在图像的边缘处会不成立，因为图像的边缘处的像素点必不会相近。双边滤波采用了两个高斯滤波的结合，一个负责计算空间邻近度的权值（也就是空域信息），也就是上面的高斯滤波器，另一个负责计算像素值相似度的权值（也就是值域信息），也是一个高斯滤波器。S(i,j)：指以（i，j）为中心的邻域的范围。
2025-04-22 10:22:21
317
原创 opencv 对图片的操作
由图像的旋转我们知道，图像在旋转的时候需要有旋转中心，而图像的镜像旋转虽然都是围绕x轴和y轴进行旋转，但是我们也需要确定x轴和y轴的坐标。图像的旋转是围绕一个特定点进行的，而图像的镜像旋转则是围绕坐标轴进行的。水平垂直翻转就是水平翻转和垂直翻转的结合，具体到像素点来说就是其坐标从（x,y）翻转为（-x,-y）。水平翻转就是将图片的像素点沿y轴翻转，具体到像素点来说就是令其坐标从（x,y）翻转为（-x,y）。src：原图像上需要进行透视变化的四个点的坐标，这四个点用于定义一个原图中的四边形区域。
2025-04-21 15:53:24
1140
原创 opencv 图像矫正的原理
图像矫正的原理是透视变换，下面来介绍一下透视变换的概念。听名字有点熟，我们在图像旋转里接触过仿射变换，知道仿射变换是把一个二维坐标系转换到另一个二维坐标系的过程，转换过程坐标点的相对位置和属性不发生变换，是一个线性变换，该过程只发生旋转和平移过程。因此，一个平行四边形经过仿射变换后还是一个平行四边形。而透视变换是把一个图像投影到一个新的视平面的过程，在现实世界中，我们观察到的物体在视觉上会受到透视效果的影响，即远处的物体看起来会比近处的物体小。透视投影是指将三维空间中的物体投影到二维平面上的过程，这个过程会
2025-04-21 15:36:46
454
原创 opencv 图像的旋转
图像旋转是指图像以某一点为旋转中心，将图像中的所有像素点都围绕该点旋转一定的角度，并且旋转后的像素点组成的图像与原图像相同。
2025-04-19 16:20:04
1539
原创 opencv(双线性插值原理)
如下图所示，左侧是原图像(3，3)，右侧是目标图像(5，5)，原图像的几何中心点是(1,1)，目标图像的几何中心点是(2,2)，根据对应关系，目标图像的几何中心点对应的原图像的位置是(1.2,1.2)，那么问题来了，目标图像的原点(0,0)和原始图像的原点是重合的，但是目标图像的几何中心点相对于原始图像的几何中心点偏右下，那么整体图像的位置会发生偏移，所以参与计算的点相对都往右下偏移会产生相对的位置信息损失。当需要对图像进行变换时，特别是尺寸变化时，原始图像的某些像素坐标可能不再是新图像中的。
2025-04-19 15:49:21
1100
原创 opencv 最近邻插值法的原理
那么放大后图像的（0，0）坐标处的像素值就是原图像中（0，0）坐标处的像素值，也就是10。也就是原图中的（0.5，0）点，因此需要对计算出来的坐标值进行取整，取整后的结果为（0，0），也就是说放大后的图像中的（1，0）坐标处对应的像素值就是原图中（0，0）坐标处的像素值，其他像素点计算规则与此相同。根据该公式，我们就可以得到每一个目标点所对应的原图像的点，比如一个2*2的图像放大到4*4，如下图所示，其中红色的为每个像素点的坐标，黑色的则表示该像素点的像素值。
2025-04-19 15:29:59
348
原创 opencv图像旋转(单点旋转的原理）
于是我们就可以根据这个矩阵计算出图像中任意一点绕某点旋转后的坐标了，这个矩阵学名叫做仿射变换矩阵，而仿射变换是一种二维坐标到二维坐标之间的线性变换，也就是只涉及一个平面内二维图形的线性变换，图像旋转就是仿射变换的一种。然而我们所要的不仅仅是可以围绕图像左上角进行旋转，而是可以围绕任意点进行旋转。也就是说，在以任意点为旋转中心时，除了要进行旋转之外，还要进行平移操作。按照上面的旋转矩阵进行旋转得到新的坐标点。平行性：平行线经过变换后依然是平行线。再将得到的旋转点移回原来的位置。首先将旋转点移到原点。
2025-04-19 14:49:51
358
原创 opencv HSV的具体描述
其中光谱色所占的比例越大，颜色接近光谱色的程度就越高，颜色的饱和度就越高。- 颜色调整更加直观：在HSV颜色空间中，色调、饱和度和亮度的调整都是直观的，而在RGB颜色空间中调整颜色不那么直观。- 符合人类对颜色的感知方式：人类对颜色的感知是基于色调、饱和度和亮度三个维度的，而HSV颜色空间恰好就是通过这三个维度来描述颜色的。一般对颜色空间的图像进行有效处理都是在HSV空间进行的，然后对于基本色中对应的HSV分量需要给定一个严格的范围，下面是通过实验计算的模糊范围（准确的范围在网上都没有给出）。
2025-04-17 19:50:08
327
原创 opencv图片颜色识别，颜色的替换
在本实验中，主要是通过掩膜对原图像进行与运算来找到我们要识别的颜色，因此我们需要了解如何在一张图片中寻找目标颜色、掩膜是什么以及与运算的概念，下面一一介绍。
2025-04-17 11:31:07
1059
原创 opencv 形态学变换
形态学变换（Morphological Transformations）是一种。形态学变换有两个输入，一个输出：输入为（结构化元素），输出为形态学**变换后的图像。**其基本操作有腐蚀和膨胀，这两种操作是相反的，即较亮的像素会被腐蚀和膨胀。下面我们来说一下核、腐蚀与膨胀的概念。
2025-04-15 19:40:31
1353
原创 opencv膨胀操作的详细流程
如果在结构元素覆盖的范围内找到了至少一个白色像素，则无论原中心像素是什么颜色，都将输出图像中的该中心像素设置为白色（前景色）。： 如果指定了多个迭代次数，那么在整个图像完成一次遍历后，再次从头开始进行同样的遍历和膨胀决策，直到达到指定的迭代次数。准备好结构元素（structuring element），它是一个小的矩阵，大小通常是奇数，并且有一个明确的中心点。： 将结构元素移动到当前待处理像素的位置，使得结构元素的中心与该像素对齐。： 结构元素会覆盖图像上的一个局部邻域，这个邻域由结构元素的尺寸决定。
2025-04-15 18:57:45
246
原创 opencv腐蚀的操作过程
如果结构元素覆盖的所有像素都是白色，则原图像中的中心像素保持不变（在输出图像中仍为白色）；： 如果指定了多个迭代次数，那么在整个图像完成一次遍历后，再次从头开始进行同样的遍历和侵蚀决策，直到达到指定的迭代次数。准备好结构元素（structuring element），它是一个小的矩阵，大小通常是奇数，并且有一个明确的中心点。： 将结构元素移动到当前待处理像素的位置，使得结构元素的中心与该像素对齐。： 结构元素会覆盖图像上的一个局部邻域，这个邻域由结构元素的尺寸决定。
2025-04-15 18:30:31
463
原创 opencv二值化实验
首先还是对边界进行填充，然后计算原图中的左上角（也就是162像素值的位置）的二值化阈值，其计算过程如上图所示，再然后根据选择的二值化方法对左上角的像素点进行二值化，之后核向右继续计算第二个像素点的阈值，第三个像素点的阈值…与二值化算法相比，自适应二值化更加适合用在明暗分布不均的图片，因为图片的明暗不均，导致图片上的每一小部分都要使用不同的阈值进行二值化处理，这时候传统的二值化算法就无法满足我们的需求了，于是就出现了自适应二值化。换句话说，经过截断阈值法处理过的二值化图中的最大像素值就是阈值。
2025-04-15 11:55:26
2062
原创 自适应二值法的加权求和的原理
高斯概率函数是相对于二维坐标产生的，其中（x,y）为点坐标，要得到一个高斯滤波器模板，应先对高斯函数进行离散化，将得到的值作为模板的系数。例如：要产生一个3*3的高斯权重核，以核的中心位置为坐标原点进行取样，其周围的坐标如下图所示（x轴水平向右，y轴竖直向上）而在opencv里，当kernel(小区域)的尺寸为1、3、5、7并且用户没有设置sigma的时候(sigma <= 0),核值就会取固定的系数，这是一种默认的值是高斯函数的近似。进行矩阵的乘法，就会得到如下的权重值，其他的类似。
2025-04-15 11:54:39
146
原创 OTSU算法具体实现
OTSU算法是通过一个值将这张图分前景色和背景色（也就是灰度图中小于这个值的是一类，大于这个值的是一类），通过统计学方法（最大类间方差）来验证该值的合理性，当根据该值进行分割时，使用最大类间方差计算得到的值最大时，该值就是二值化算法中所需要的阈值。通常该值是从灰度图中的最小值加1开始进行迭代计算，直到灰度图中的最大像素值减1，然后把得到的最大类间方差值进行比较，来得到二值化的阈值。双峰图就是指灰度图的直方图上有两个峰值，直方图就是对灰度图中每个像素值的点的个数的统计图，如下图所示。
2025-04-15 11:18:01
346
原创 opencv 灰度实验
灰度图与彩色图最大的不同就是：彩色图是由R、G、B三个通道组成，而灰度图只有一个通道，也称为单通道图像，所以彩色图转成灰度图的过程本质上就是将R、G、B三通道合并成一个通道的过程。
2025-04-12 16:59:15
565
原创 opencv计算机眼中的图像（理论）
与索引图像一样，它分别用红（R）、绿（G）、蓝（B）三原色的组合来表示每个像素的颜色。但与索引图像不同的是，RGB图像每一个像素的颜色值（由RGB三原色表示）直接存放在图像矩阵中，由于每一像素的颜色需由R、G、B三个分量来表示，M、N分别表示图像的行列数，三个M x N的二维矩阵分别表示各个像素的R、G、B三个颜色分量。灰度图像经常是在单个电磁波频谱如可见光内测量每个像素的亮度得到的，用于显示的灰度图像通常用每个采样像素8位的非线性尺度来保存，这样可以有256级灰度（如果用16位，则有65536级）。
2025-04-12 16:06:54
398
原创 opencv的基本操作， 绘制几何图形
表示使用反走样（Anti-Aliasing）技术来绘制文本边框。text：要写入的文本数据（opencv不提供中文编码）说明图像可以以数据类型为uint8数组的形式输出。arg1:显示图像的窗口名称，以字符串类型表示。station：文本的放置位置。Fontscale :字体大小。thickness字体线条宽度。arg2:要加载的图像。
2025-04-10 22:36:06
1145
原创 Matplotlib
导入Matplotlib Pyplot库：代码格式：参数说明：x和 y：format：含义： 可选参数，用于指定线条的样式、颜色和标记。示例： 表示蓝色实线， 表示红色圆点。表示红色点线plot的参数代码如下：结果如下：代码如下：代码如下：省略X轴时，图中x的值从1开始增加1到y的元素的个数'r-'表示红色实线 'b–'表示蓝色虚线 linewidth表示线宽2 Matplotlib轴标签和标题函数： 和 参数：返回值： 无，这两个函数主要用于设置图表的标签，不会返回特定的对象。函数：
2025-04-08 20:44:48
568
原创 pandas 各种数据处理
inplace：如果设置 True，将计算得到的值直接覆盖之前的值并返回 None，修改的是源数据。CSV（Comma-Separated Values，逗号分隔值，有时也称为字符分隔值，因为分隔字符也可以不是逗号），其文件以纯文本形式存储表格数据（数字和文本）。DataFrame 是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔型值）。很多数据集存在数据缺失、数据格式错误、错误数据或重复数据的情况，如果要使数据分析更加准确，就需要对这些没有用的数据进行处理。
2025-04-06 17:49:42
890
原创 Numpy 矩阵
数组a的最后一维上的所有元素与数组b的倒数第二位上的所有元素的乘积和： dot(a, b)[i,j,k,m] = sum(a[i,j,:] * b[k,:,m])。：设A是数域上的一个n阶矩阵，若在相同数域上存在另一个n阶矩阵B，使得： AB=BA=E ，则我们称B是A的逆矩阵，而A则被称为可逆矩阵。numpy.dot() 对于两个一维的数组，计算的是这两个数组对应下标元素的乘积和(数学上称之为向量点积)；例如有个 m 行 n 列的矩阵，使用 t() 函数就能转换为 n 行 m 列的矩阵。
2025-04-06 16:03:03
1875
原创 Numpy 数学函数，算数函数
arcsin，arccos，和 arctan 函数返回给定角度的 sin，cos 和 tan 的反三角函数。numpy.power() 函数将第一个输入数组中的元素作为底数，计算它与第二个输入数组中相应元素的幂。NumPy 包含大量的各种数学运算的函数，包括三角函数，算术运算的函数，复数处理函数等。同样numpy库中也未有arcsec(),arccsc(),arccot()的api。NumPy 提供了标准的三角函数：sin()、cos()、tan()。需要注意的是数组必须具有相同的形状或符合数组广播规则。
2025-04-02 13:11:09
322
【数据可视化】matplotlib.pie函数参数详解：饼图绘制与自定义配置选项说明
2025-04-09
【数据可视化】直方图绘制参数详解：Python Matplotlib库中hist函数的参数配置与应用
2025-04-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人