SMOTE抽样 数据不平衡的问题

最新推荐文章于 2024-05-06 17:36:49 发布
最新推荐文章于 2024-05-06 17:36:49 发布
阅读量634 收藏 3
点赞数
分类专栏： 机器学习鸭
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wwqnmdhmp/article/details/108291044
版权 
from imblearn.over_sampling import SMOTE

import pandas as pd 

C:\ProgramData\Anaconda3\lib\importlib\_bootstrap.py:219: RuntimeWarning: numpy.ufunc size changed, may indicate binary incompatibility. Expected 192 from C header, got 216 from PyObject
  return f(*args, **kwds)
C:\ProgramData\Anaconda3\lib\importlib\_bootstrap.py:219: RuntimeWarning: numpy.ufunc size changed, may indicate binary incompatibility. Expected 192 from C header, got 216 from PyObject
  return f(*args, **kwds)

df = pd.read_csv('base_done.csv')

data = df[:20].iloc[:,1:10]
data
sexageproviderlevelverifiedusing_timeregist_typecard_a_cntcard_b_cnt
00248530102471312471924712
11250110102474372471224712
21248770202474472471924725
30249250202471512471224712
41248772102470632471224712
50249440202472012471924712
60248400202472712471224712
70249440202470912471224712
80249080202473012471224712
91249560202474172471924719
100249200202474172471924719
110248710202472222471224712
121248890202472512471924719
131248652202471032471224712
140249440202472712471224712
151249310202473372471224719
160249630102472122471224712
170248770202472712471224712
180249010202473372472524719
190248592102471332471224712
X = data.drop(columns='provider').values

y = data.provider

data.provider.value_counts()

0    17
2     3
Name: provider, dtype: int64

sm = SMOTE(sampling_strategy={0:17,2:15},k_neighbors=2)  # sampling_strategy 抽样策略，默认为1:1， k = knn的
X_res, y_res = sm.fit_resample(X, y)  # 

y_res.value_counts()

0    17
2    15
Name: provider, dtype: int64

X_res
sexagelevelverifiedusing_timeregist_typecard_a_cntcard_b_cnt
0024853102471312471924712
1125011102474372471224712
2124877202474472471924725
3024925202471512471224712
4124877102470632471224712
5024944202472012471924712
6024840202472712471224712
7024944202470912471224712
8024908202473012471224712
9124956202474172471924719
10024920202474172471924719
11024871202472222471224712
12124889202472512471924719
13124865202471032471224712
14024944202472712471224712
15124931202473372471224719
16024963102472122471224712
17024877202472712471224712
18024901202473372472524719
19024859102471332471224712
20024860102471232471224712
21024871102470832471224712
22024872102470732471224712
23124865102470932471224712
24024863102471032471224712
25024859102471232471224712
26124870102470832471224712
27124875102470632471224712
28124872102470732471224712
29024873102470732471224712
30024862102471132471224712
31024859102471232471224712
32024873102470732471224712
33124866102470932471224712
我叫陈叉叉叉叉
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
有关不平衡学习与SMOTE算法
qq_47475806的博客
03-19 3524
文章目录前言因为最近的任务中运用到了Smote算法，但是我找了网上好多帖子都没有解决问题，因此去阅读了imblearn库的User guide。然后在这边写下所得到的知识以及掌握了的算法，可以供大家学习与参考一、有关上采样和Smote算法？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 因为最近的任务中运用到了Smote算法，但是我找了网上好多帖子都没有解决问题，因此去阅读了imblearn库的U.
SMOTE过采样技术原理与实现
红豆的博客
11-22 8655
1.这种操作的原理是什么，目的是什么 目的是合成分类问题中的少数类样本，使数据达到平衡； 其中，样本数量过少的类别称为“少数类”。 原理和思想：合成的策略是对每个少数类样本a，从它的最近邻中随机选一个样本b，然后在a，b之间的连线上随机选一点作为新合成的少数类样本。 算法流程： a.对于少数类中每一个样本a，以欧式距离为标准，计算它到少数类样本集中所有样本的距离，得到其k近邻； b...
SMOTE（Synthetic Minority Over-Sampling Technique ，即“人工少数类过采样法“）----Python调包简单实现
haoji007的博客
05-16 1万+
一、SMOTE原理 SMOTE的全称是Synthetic Minority Over-Sampling Technique 即“人工少数类过采样法”，非直接对少数类进行重采样，而是设计算法来人工合成一些新的少数样本。 SMOTE步骤__1.选一个正样本 红色圈覆盖 SMOTE步骤__2.找到该正样本的K个近邻（假设K = 3） SMOTE步骤__3.随机从K个近邻中选出一个样本 绿色的 SMOTE步骤__4.在正样本和随机选出的这个近邻之间的连线上，随机找一点。这...
机器学习之SMOTE重采样--解决样本标签不均匀问题
最新发布
victor_manches的博客
05-06 565
使用SMOTE算法对其中的少数类别进行过采样，以使其与多数类别的样本数量相当或更接近。这个示例中，首先生成一个不平衡的二分类数据集，然后使用SMOTE算法来生成新的合成样本，使得两个类别的样本数量相等。最后原始数据集和平衡后的数据集进行可视化展示。包含了各种常用的不平衡数据处理方法，例如：随机过采样，SMOTE及其变形方法，tom-links欠采样，编辑最近邻欠采样方法等等。仅用正样本的K近邻生成新正样本是正是SMOTE方法，考虑到（SMOTE的最终目的是分清正负样本的边界），所以需要对样本生成进行优化。
SMOTE算法过采样解决数据类别不平衡问题
jz2580133981的博客
04-15 871
在做分类问题时，经常遇到样本不均衡的问题，例如：A类样本100个，B类样本只有30个。写文章投稿时，经常会被审稿人指出这个问题。而SMOTE算法则可以通过过采样来生成B类样本，增加B类样本的数量。
imblearn库中ADASYN()使用报错:No samples will be generated with the provided ratio settings.
qq_37654889的博客
12-17 2578
报错点： No samples will be generated with the provided ratio settings. 问题源： 采用重采样方法ADASYN解决类别不平衡样本问题时，遇到了“提供的比率设置无法生成任何样本”的错误。代码如下： from imblearn.over_sampling import ADASYN X = data.drop('label', axis=1) Y = data['label'] X_resample, Y_resample = ADASYN().fi
数据处理笔记1:类别不平衡-上采样
越开源越幸运
11-29 4130
类别不平衡 imblance problem 查找一些资料 样本不均讨论: https://blog.csdn.net/sp_programmer/article/details/48047101 上采样、下采样、代价敏感 代价敏感:设计objective function的时候给不同misclassification的情况不同的relative weights。也就是说给从小数量的样本被分成大数量的样本更大的penalty 正样本样本绝对数很小。需要扩散正样本方法 Synthetic Mi
python使用pandas抽样训练数据中某个类别实例
09-17
在Python数据分析领域，Pandas库是...在实际应用中，还需要根据具体问题和数据特性选择合适的抽样策略，并结合其他技术，如SMOTE（Synthetic Minority Over-sampling Technique）生成合成样本，以进一步改善模型性能。
不平衡数据集中的组合分类算法.pdf
12-31
《不平衡数据集中的组合分类算法》是一篇关于处理不平衡数据集分类问题的研究论文。在机器学习领域，不平衡数据集指的是不同类别样本数量差距极大的情况，这会导致分类算法倾向于预测占多数的类别，而忽视少数类别，...
论文研究-基于不平衡数据集的软件缺陷预测.pdf
07-22
为了解决数据的不平衡性这一问题，提出一种利用分布函数合成新样本的过抽样和随机向下抽样相结合的算法。算法对降维后的主成分进行分布函数拟合，然后利用分布函数生成随机数，并对生成的随机数进行筛选，最后与随机...
基于分解策略处理多分类不均衡问题的方法
04-30
接着利用SMOTE过抽样技术处理原始数据集；然后采用基于距离相对竞争力加权方法处理冗余分类器；最后通过加权投票法获得输出结果。在KEEL不均衡数据集上的大量实验结果表明，所提算法比其他经典方法具有显著的优势。
SMOTEBoost:用于处理数据中类不平衡问题的 SMOTEBoost 算法的实现。-matlab开发
06-01
SMOTEBoost 是一种处理具有离散类标签的数据中的类不平衡问题的算法。 它结合使用 SMOTE 和标准 boosting 程序 AdaBoost 来更好地对少数类建模，方法是不仅为学习者提供在之前的 boosting 迭代中被错误分类的少数类...
python抽样方法详解及实现
热门推荐
qq_24591139的博客
09-06 2万+
随机抽样—总体个数较少 每个抽样单元被抽中的概率相同，并且可以重现。随机抽样常常用于总体个数较少时，它的主要特征是从总体中逐个抽取。 1、抽签法 2、随机数法：随机数表、随机数骰子或计算机产生的随机数。 分层抽样——总体存在差异且对结果有影响 分层抽样是指在抽样时，将总体分成互不相交 [2] 的层，然后按照一定的比例，从各层独立地抽取一定数量的个体，将各层取出的个体合在一起作为样本的方法。层内...
独家 | 一文教你如何处理不平衡数据集（附代码）
数据派THU
05-27 5149
翻译：张玲校对：吴金迪本文约1500字，建议阅读5分钟。本文作者用python代码示例解释了3种处理不平衡数据集的可选方法，包括数据层面上的2种重采样数据集方法和算法层面...
【机器学习】机器学习中样本不平衡，怎么办？
fengdu78的博客
03-10 985
在银行要判断一个"新客户是否会违约"，通常不违约的人VS违约的人会是99:1的比例，真正违约的人 其实是非常少的。这种分类状况下，即便模型什么也不做，全把所有人都当成不会违约的人，正确率也...
大数据预处理——不平衡数据Python处理
weixin_45734379的博客
05-26 1585
文章目录本章概述一、不平衡数据是什么？二、数据说明三、不平衡数据的配平1.向下抽样2.向上抽样四、不平衡数据配平的影响 本章概述 本章节主要是阐述一下不平衡数据的定义，并且运用向下抽样和向上抽将数据进行一定程度地配平，并且进一步分析数据不平衡对于构建分类器的影响。 一、不平衡数据是什么？ 在目标变量为分类变量的数据分析任务中，目标变量类别间的不平衡问题是一个常见的现象，一般称之为不平衡数据。不平衡数据影响模型训练和预测的准确性，因此需要在数据预处理阶段进行有效的配平，从而消除不良影响。 两个类别比例..
数据预处理与特征工程—1.不均衡样本集采样—SMOTE算法与ADASYN算法
柳杰的博客
03-13 8539
文章目录一、第一种思路：平衡采样1.SMOTE算法二、第二种思路：使用新的指标   在训练二分类模型中，例如医疗诊断、网络入侵检测、信用卡反欺诈等，经常会遇到正负样本不均衡的问题。直接采用正负样本非常不均衡的数据集进行训练学习会遇到很多问题。使用不平衡数据集的挑战在于，大多数机器学习技术将忽略少数类，并且反过来在少数类上表现不佳，尽管通常最重要的是少数类（比如申请卡中的逾期）。 比如：正负样本比例是99:1，那么分类器将所有样本都预测成正样本就有99%的正确率 当碰到样本类别不均衡的情况下，占比大的类别
SMOTE for Imbalanced Classfication with Python
qian_chun_qiang的博客
07-06 604
SMOTE for Imbalanced Classfication with Python 文章目录SMOTE for Imbalanced Classfication with PythonImbalanced-Learn LibrarySMOTE for Balancing DataSMOTE for ClassificationSMOTE With Selective Synthetic Sample GenerationBorderline-SMOTEBorderline-SMOTE SVMAda
【机器学习基础】样本类别不平衡的解决办法
Tuzi_bo的专栏
05-14 6308
目录 一 数据不平衡现象以及分析 二 解决措施 1.采样 （1）随机下采样（Random undersampling of majority class） （2）随机过采样 （3）Edited Nearest Neighbor算法 （4）Repeated Edited Nearest Neighbor算法 （5）EasyEnsemble算法 （6）BalanceCascade算法 （7）NearMiss算法 （8）Tomek Link算法 2.数据合成 （1）SM...
数据预处理之后 进行抽样以解决数据不平衡的问题， SMOTE 算法代码实现
05-27
SMOTE (Synthetic Minority Over-sampling Technique) 是一种数据抽样算法，用于解决数据不平衡的问题。它通过合成新少数类样本来增加少数类样本的数量，从而解决数据不平衡的问题。 下面是 SMOTE 算法的 Python 代码实现： ``` python import numpy as np from sklearn.neighbors import NearestNeighbors def smote(X, y, k=5, sampling_ratio=1.0): """ X: 二维数组，表示原始数据集 y: 一维数组，表示原始数据集的标签 k: 选取的最近邻数 sampling_ratio: 抽样比例 """ # 将原始数据集按类别分组 groups = {} for i, label in enumerate(y): if label not in groups: groups[label] = [] groups[label].append(i) # 计算每个少数类样本需要合成的样本数 N = len(X) n_samples = int(sampling_ratio * N) n_majority = max([len(groups[label]) for label in groups]) n_synthetic = int((n_samples - N) / n_majority) # 对每个少数类样本合成样本 new_X = [] new_y = [] for label, indices in groups.items(): if len(indices) >= n_synthetic: # 找到 k 个最近邻 nn = NearestNeighbors(n_neighbors=k).fit(X[indices]) for i in indices: # 找到 i 的 k 个最近邻 nn_indices = nn.kneighbors(X[i].reshape(1, -1), return_distance=False)[0] # 随机选择一个最近邻 j j = np.random.choice(nn_indices) # 在 i 和 j 之间进行插值 diff = X[j] - X[i] gap = np.random.rand() new_X.append(X[i] + gap * diff) new_y.append(label) else: # 少数类样本数量不足，无法进行 SMOTE pass # 将合成的样本添加到原始数据集中 new_X = np.array(new_X) new_y = np.array(new_y) X = np.vstack([X, new_X]) y = np.hstack([y, new_y]) return X, y ``` 其中，`X` 是原始数据集，`y` 是原始数据集的标签。`k` 表示选取的最近邻数，`sampling_ratio` 表示抽样比例。 这段代码的实现思路是先按类别分组，然后计算每个少数类样本需要合成的样本数。对于每个少数类样本，找到它的 k 个最近邻中的一个随机样本，在它和最近邻之间进行插值，生成新的合成样本。最后将合成的样本添加到原始数据集中返回。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值