[python数据处理系列] 深入理解与实践基于聚类的过采样与欠采样技术：以K-Means为例

已于 2024-05-09 08:38:11 修改
阅读量1k 收藏 23
点赞数 35
文章标签： 机器学习 数据分析 数据预处理 不平衡数据集 过采样 欠采样 数据挖掘 Kmeans欠采样过采样
于 2024-04-29 20:49:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81199775/article/details/138243641
版权

目录

一、过采样介绍

(一)什么是过采样

(二)过采样的优点

(三)过采样的缺点

二、欠采样介绍

(一)什么是欠采样

(二)欠采样的优点

(三)欠采样的缺点

三、基于聚类的欠抽样方法(K-Means欠采样/KMeans-Undersampling)

(一)KMeans欠采样原理及其步骤介绍

(二)为什么不采用简单的欠采样或者过采样而选择Kmeans欠采样

(三)聚类结束后，如何确定多数类样本欠抽样的数据量，并从每个簇中选择样本？------类别权重调整

(1)确定多数类样本欠抽样的数据量-----类别权重调整

(2)从每个簇中选择样本

四、python实现K-Means欠采样

(一）生成数据集

(二)目的

(三)通过Kmeans对X1多数类样本进行聚类

(1)通过手肘法和目标函数确定KMeans的最优K值

(2)选择最优K值后，进行KMeans聚类

(3) 查看每个聚类后类别中的样本数

(4) 计算聚类后每个类别占多数类样本的比例

(5)计算聚类后每个类别中应该抽取的样本数

(6)抽取数据

①随机无放回抽取33个标签为0的样本

 ②随机无放回抽取30个标签为1的样本

 ③随机无放回抽取50个标签为2的样本

 ④随机无放回抽取52个标签为3的样本

 ④随机无放回抽取15个标签为4的样本

 ⑤合并各类抽取后的数据

(四) 将180个多数类样本，和90个少数类样本进行整合。(目标就是多数类样本：少数类样本=2：1)

五、基于聚类的过抽样方法(K-Means过抽样)

六、python实现KMeans过抽样

(一)目的

(二)通过Kmeans对X2少数类样本进行聚类

(1)通过手肘法和目标函数确定KMeans的最优K值

(2)选择最优K值后，进行KMeans聚类

(3) 查看每个聚类后类别中的样本数 

(4) 计算聚类后每个类别占少数类样本的比例 

(5)计算聚类后每个类别中应该抽取的样本数

(6)抽取数据

①随机无放回抽取2个标签为0的样本 

②随机无放回抽取2个标签为1的样本 

③随机无放回抽取3个标签为2的样本 

④随机无放回抽取3个标签为3的样本 

 ⑤合并各类抽取后的数据

(三) 将200个多数类样本，和100个少数类样本进行整合。(目标就是多数类样本：少数类样本=2：1) 

一、过采样介绍

(一)什么是过采样

过采样是一种处理数据不平衡问题的方法，特别是在分类问题中，当某个类别的样本数量远远少于其他类别时，会导致模型在训练和预测中对少数类别的识别能力下降。过采样的主要目的是增加少数类别的样本数量，以改善数据的平衡。

(二)过采样的优点

1.  提高模型对少数类别的识别能力：通过增加少数类别的样本数量，使得模型更容易学习并识别少数类别的特征，从而提高模型在少数类别上的性能。
2.  不丢失信息：过采样生成的新样本是基于原始数据生成的，因此不会丢失原始数据的信息，保留了数据的特征。

(三)过采样的缺点

1.  容易引入噪声：过采样生成的新样本可能并不完全符合真实数据分布，可能会引入噪声，导致模型过拟合。
2.  增加计算复杂度和训练时间：过采样会增加数据集的大小，从而增加模型的计算复杂度和训练时间，尤其是在数据量较大的情况下。

二、欠采样介绍

(一)什么是欠采样

欠采样是一种处理数据不平衡问题的方法，与过采样相反，它是通过减少多数类别的样本数量来实现数据平衡，从而解决在分类问题中多数类别样本数量远远大于少数类别样本数量的情况。

(二)欠采样的优点

1.  减少训练时间和计算复杂度：由于减少了多数类别的样本数量，可以减少模型的训练时间和计算复杂度，提高训练效率。
2.  降低过拟合的风险：减少多数类别的样本数量可以降低模型对多数类别的过度拟合，使得模型更加泛化。

(三)欠采样的缺点

1.  可能丢失重要信息：欠采样会舍弃多数类别的样本，可能会丢失一些重要信息，导致模型在多数类别上的性能下降。
2.  容易丢失少数类别的特征：由于减少了多数类别的样本数量，模型可能无法充分学习到少数类别的特征，导致在少数类别上的性能下降。

三、基于聚类的欠抽样方法(K-Means欠采样/KMeans-Undersampling)

(一)KMeans欠采样原理及其步骤介绍

KMeans欠采样是一种处理不平衡数据集的方法，它结合了聚类和欠采样的思想，通过聚类的方式选择代表性样本，以平衡数据集并提高模型性能。

具体步骤如下：

1.  数据预处理：对数据进行预处理，包括缺失值处理、数据标准化等。
    
2.  KMeans聚类：使用KMeans聚类算法对数据的多类样本数据进行聚类，将数据分成K个簇。
    
3.  选择代表性样本：从每个簇中选择代表性样本，可以选择簇中的中心点或者随机选择一个样本，若在这个簇中需要选取多个样本，可以考虑有放回选取和无放回选取，建议采用无放回选取
    
4.  构建新的数据集：将选择的代表性样本组成新的数据集，用于模型训练和预测。
    
5.  模型训练和预测：使用新的数据集训练模型，并对测试集进行预测。

通过KMeans欠采样，可以有效地平衡数据集，提高模型对少数类样本的学习能力，从而提高分类性能。

(二)为什么不采用简单的欠采样或者过采样而选择Kmeans欠采样

简单的欠采样和过采样方法在处理不平衡数据集时存在一些问题，比如欠采样可能导致信息丢失，过采样可能引入噪声。

KMeans欠采样是一种结合了聚类和欠采样的方法，可以一定程度上克服简单欠采样和过采样的缺点，具有以下优点：

1.  保留数据分布特征：KMeans欠采样通过聚类的方式选择代表性样本，能够更好地保留原始数据的分布特征，避免了简单欠采样可能导致的信息丢失问题。
    
2.  减少噪声引入：KMeans欠采样在选择样本时考虑了样本之间的相似性，避免了简单过采样可能引入的噪声问题，提高了模型的泛化能力。
    
3.  降低计算成本：KMeans欠采样通过聚类的方式减少了样本数量，可以降低模型训练和预测的计算成本，提高了效率。
    
4.  提高分类性能：KMeans欠采样能够更好地平衡数据集，提高了模型对少数类样本的学习能力，从而提高了分类性能。

综上所述，KMeans欠采样是一种比简单欠采样和过采样更加有效的处理不平衡数据集的方法，能够在一定程度上解决不平衡数据集带来的挑战，提高模型性能。

(三)聚类结束后，如何确定多数类样本欠抽样的数据量，并从每个簇中选择样本？------类别权重调整

(1)确定多数类样本欠抽样的数据量-----类别权重调整

前提：正类数量：负类数量>真实世界的真实比例

在处理二分类问题时，我们经常遇到正类和负类样本数量不平衡的情况。假设在一个实际的二分类问题中，正类的样本数量为 N1，而负类的样本数量为N2，并且 N1显著大于 N2。N1/N2的比例远大于真实世界这两种类别的比例。

一旦我们知道了真实的正负类比例ratio，我们可以使用这个信息来调整训练数据，使得模型训练过程中的样本分布更加接近真实世界的分布。为了达到这个目的，我们可以采用KMeans欠采样策略，以负类样本的数量N2作为基准，对正类样本进行欠采样。

通过欠采样，我们希望获得的新的正类样本数量 N1_new 应该与负类样本数量N2成比例，

即：

N1_new=ratio*N2

这就是通过进行类别权重调整，来确定多数类样本欠抽样时的数据量。

这样，经过欠采样后的正类样本数量  将更接近于实际情况下的正负类比例，有助于提高模型的泛化能力和避免过拟合。

补充：这个ratio我们也可以人为的设定

(2)从每个簇中选择样本

上边我们确定了多数类样本也就是正类样本进行欠抽样的数据量N2_new

那么怎么从K个簇中，每个簇中抽取样本呢？

首先，确定从每个簇中抽取的样本量ni:

ni=(N1_i/N2）*N1_new

i=1,2,3,4,5,6......k（k个簇）

其中N1_i，代表聚类后第i个簇中的样本量，N1_i/N1代表第i个簇中的样本量占整个多类样本数量的比例

ni也就是确定的每个簇中抽取的样本量

每次从各个簇中抽取样本时，建议采用不放回抽样，这样可以保证尽量不丢失原始数据的信息，保留数据的特征。

四、python实现K-Means欠采样

(一）生成数据集

import numpy as np
from sklearn.datasets import make_blobs

X1, Y1 = make_blobs(n_samples=200, centers=1, random_state=0)
X2, Y2 = make_blobs(n_samples=90, centers=1, random_state=0)

X = np.vstack((X1, X2))
Y = np.hstack((Y1, Y2 + 1))  # 将第二个类别的标签设置为1，以便与第一个类别区分开

如果想要控制每个类别的数量，可以使用n_samples参数分别设置每个类别的数量，然后使用numpy库将数据合并。例如，生成200个样本属于第一个类别，90个样本属于第二个类别：.

import pandas as pd

# 将 Y 转换为 Pandas Series
Y_series = pd.Series(Y)

# 计算 Y 中每个类别的数量
class_counts = Y_series.value_counts()

print(class_counts)

(二)目的

我们想控制Y1类和Y2类的数量比例ratio是2：1，故若采取欠抽样的话，需要从Y1的的样本中抽取出180个样本量，或者说去除20个样本量 。

(三)通过Kmeans对X1多数类样本进行聚类

(1)通过手肘法和目标函数确定KMeans的最优K值
from matplotlib import pyplot as plt
from sklearn.cluster import KMeans
# 使用手肘法确定最佳的K值
plt.rcParams['font.sans-serif'] = ['SimHei']
inertia = []
for k in range(1, 20):
    kmeans = KMeans(n_clusters=k, random_state=0,init="k-means++")
    kmeans.fit(X1)
    inertia.append(kmeans.inertia_)
# 绘制手肘法图表
plt.figure(figsize=(5, 3),dpi=144)
plt.plot(range(1,20), inertia, marker='o', linestyle='--')

plt.xlabel('K值')
plt.ylabel('距离平方和')
plt.title('手肘法图表')
plt.savefig('手肘法图.png',dpi=300)
# plt.grid(True)

# 设置横坐标刻度值为整数
plt.xticks(range(1, 20, 1))

plt.show()

import numpy as np
# Find the K value with the smallest inertia change
#距离平方和得差，也就是每次K值距上一次K值所对应得距离平方和下降程度
inertia_diff = np.diff(inertia)


plt.figure(figsize=(5, 3),dpi=144)
inertia_diff_abs = np.abs(inertia_diff)  # 取绝对值，使所有值变为非负
plt.plot(range(2, 20), inertia_diff_abs, marker='o', linestyle='--')
#inertia_diff_abs:取绝对值
plt.xlabel('K值')
plt.ylabel('距离平方和下降程度')
plt.title('目标函数（聚类内部元素的总平方距离下降程度）表')
# plt.savefig('手肘法图.png',dpi=300)
# plt.grid(True)

# 设置横坐标刻度值为整数
plt.xticks(range(2, 20, 1))

plt.show()

 

通过分析，K的最优取值为5。具体原理和分析过程，不在这里再具体阐述，感兴趣的小伙伴可以查看上一篇博客进行了解。链接如下：

[机器学习系列]深入解析K-Means聚类算法：理论、实践与优化-CSDN博客

(2)选择最优K值后，进行KMeans聚类
kmeans = KMeans(n_clusters=5, random_state=0)
kmeans.fit(X1)

print(kmeans.labels_)#获取训练数据所属的类别
(3) 查看每个聚类后类别中的样本数
import pandas as pd

# 将 Y 转换为 Pandas Series
kmeans.labels_series = pd.Series(kmeans.labels_)

# 计算 Y 中每个类别的数量
class_counts = kmeans.labels_series.value_counts()

print(class_counts)

(4) 计算聚类后每个类别占多数类样本的比例
# 计算总数（所有类别的数量）
total_count = class_counts.sum()

# 计算每个类别占总数的比例
class_proportions = class_counts / total_count

print(class_proportions)

(5)计算聚类后每个类别中应该抽取的样本数

至于为什么*180，请参考(二)目的第一部分，其中有阐述。

class_proportions*180

那么按照四舍五入，标签为3的这一类从中随机无放回抽取52个样本，标签为2的这一类从中随机无放回抽取50个样本，标签为0的这一类从中随机无放回抽取33个样本，标签为1的这一类从中随机无放回抽取30个样本，标签为4的这一类从中随机无放回抽取15个样本.52+50+33+30+15=180.

(6)抽取数据
# 将 X 转换为 DataFrame
import pandas as pd
df = pd.DataFrame(X1, columns=['Feature1', 'Feature2'])

# 将簇标签添加到原始数据中
df["聚类标签结果"]=kmeans.labels_
df

①随机无放回抽取33个标签为0的样本
cluster_zero_df = df[df["聚类标签结果"] == 0]

import pandas as pd

# 不放回地随机抽取33行数据
sampled_zero = cluster_zero_df.sample(n=33, replace=False)

# print(sampled_zero)

# 在这段代码中，sample函数用于从DataFrame中抽取样本。参数n=33指定了要抽取的样本数量，而replace=False确保了抽取是不放回的。
 ②随机无放回抽取30个标签为1的样本
cluster_one_df = df[df["聚类标签结果"] == 1]
sampled_one = cluster_one_df.sample(n=30, replace=False)
 ③随机无放回抽取50个标签为2的样本
cluster_two_df = df[df["聚类标签结果"] == 2]
sampled_two = cluster_two_df.sample(n=50, replace=False)
 ④随机无放回抽取52个标签为3的样本
cluster_three_df = df[df["聚类标签结果"] == 3]
sampled_three = cluster_three_df.sample(n=52, replace=False)
 ④随机无放回抽取15个标签为4的样本
cluster_four_df = df[df["聚类标签结果"] == 4]
sampled_four = cluster_four_df.sample(n=15, replace=False)
 ⑤合并各类抽取后的数据
combined_df = pd.concat([sampled_zero, sampled_one, sampled_two, sampled_three,sampled_four], axis=0)

(四) 将180个多数类样本，和90个少数类样本进行整合。(目标就是多数类样本：少数类样本=2：1)

combined_df=combined_df.iloc[:, :2]

combined_df["标签"] = 0

df_0类样本=combined_df

df_1类样本= pd.DataFrame(X2, columns=['Feature1', 'Feature2'])

df_1类样本["标签"]=Y2+1 #这里Y2为什么加1呢，因为最开始我们生成数据集时，是分开分别生成了两对数据集X1 Y1 和 X2 Y2，实际上Y1和Y2的标签都是0，所以这里让Y2+1变成标签1


data= pd.concat([df_0类样本, df_1类样本], axis=0)

五、基于聚类的过抽样方法(K-Means过抽样)

K-Means过抽样的内容和Kmeans欠抽样几乎一致，

不过唯一的不同点就是：

K-means过抽样是以多数类样本为基础，对少数类样本进行聚类。

比如我们想要多数类样本N1_new：少数类样本N2_new=2：1

但是现在多数类样本N1=200,少数类样本N2=90，此时200：90不等2：1

如果以多数类样本N1=N1_New为基础不变，那么N2_new就得等于100，此时少数类样本N2有90个样本了，为了使数据信息充分被利用，那么少数类样本依然选择这90个数据，然后还缺100-90=10个少数类样本，此时就对90个少数类样本进行聚类，聚成K个簇

确定从每个簇中抽取的样本量ni:

ni=(N2_i/N2）*(N2_new-N2)

i=1,2,3,4,5,6......k（k个簇）

其中N2_i，代表第i个簇中的样本量，N2_i/N2代表第i个簇中的样本量占整个多类样本数量的比例

ni也就是确定的每个簇中抽取的样本量

N2_new是希望 抽样结束后，少数类样本的总个数

N2是原始数据中少数类样本的总个数

(N2_new-N2)是希望通过聚类过抽样抽取的少数样本总数。

六、python实现KMeans过抽样

(一)目的

我们想控制Y1类和Y2类的数量比例ratio是2：1，故若采取过抽样的话，以多数类样本数量200不动，少数类样本数量要从90变成100，那么就要将90个少数类样本进行聚类，然后按照比例从每簇中抽取数据，共从中随机无放回抽取出10个少数类样本。

(二)通过Kmeans对X2少数类样本进行聚类

(1)通过手肘法和目标函数确定KMeans的最优K值
from matplotlib import pyplot as plt
from sklearn.cluster import KMeans
# 使用手肘法确定最佳的K值
plt.rcParams['font.sans-serif'] = ['SimHei']
inertia = []
for k in range(1, 20):
    kmeans = KMeans(n_clusters=k, random_state=0,init="k-means++")
    kmeans.fit(X2)
    inertia.append(kmeans.inertia_)
# 绘制手肘法图表
plt.figure(figsize=(5, 3),dpi=144)
plt.plot(range(1,20), inertia, marker='o', linestyle='--')

plt.xlabel('K值')
plt.ylabel('距离平方和')
plt.title('手肘法图表')
plt.savefig('手肘法图.png',dpi=300)
# plt.grid(True)

# 设置横坐标刻度值为整数
plt.xticks(range(1, 20, 1))

plt.show()

import numpy as np
# Find the K value with the smallest inertia change
#距离平方和得差，也就是每次K值距上一次K值所对应得距离平方和下降程度
inertia_diff = np.diff(inertia)

plt.figure(figsize=(5, 3),dpi=144)
inertia_diff_abs = np.abs(inertia_diff)  # 取绝对值，使所有值变为非负
plt.plot(range(2, 20), inertia_diff_abs, marker='o', linestyle='--')
#inertia_diff_abs:取绝对值
plt.xlabel('K值')
plt.ylabel('距离平方和下降程度')
plt.title('目标函数（聚类内部元素的总平方距离下降程度）表')
# plt.savefig('手肘法图.png',dpi=300)
# plt.grid(True)

# 设置横坐标刻度值为整数
plt.xticks(range(2, 20, 1))

plt.show()

通过分析，K的最优取值为5。具体原理和分析过程，不在这里再具体阐述，感兴趣的小伙伴可以查看上一篇博客进行了解。链接如下：

[机器学习系列]深入解析K-Means聚类算法：理论、实践与优化-CSDN博客

(2)选择最优K值后，进行KMeans聚类
kmeans = KMeans(n_clusters=4, random_state=0)
kmeans.fit(X2)
(3) 查看每个聚类后类别中的样本数 
import pandas as pd

# 将 Y 转换为 Pandas Series
kmeans.labels_series = pd.Series(kmeans.labels_)

# 计算 Y 中每个类别的数量
class_counts = kmeans.labels_series.value_counts()

print(class_counts)

(4) 计算聚类后每个类别占少数类样本的比例 
# 计算总数（所有类别的数量）
total_count = class_counts.sum()

# 计算每个类别占总数的比例
class_proportions = class_counts / total_count

print(class_proportions)

我们想使多数类样本：少数类样本=2：1，现在是过抽样，以多数类样本的数量200为基础不动，少数类样本应该是有100个，但是现在只有90个，所以需要对这90个样本进行聚类，聚成K个类，然后按照比例分别从这K个类中抽取样本，总共抽取的样本是10个，这样90+10=100少数类样本就一共有100个了，多数类样本：少数类样本就满足比例2：1了。 

(5)计算聚类后每个类别中应该抽取的样本数
class_proportions*10

那么按照四舍五入，标签为2的这一类从中随机无放回抽取3个样本，标签为3的这一类从中随机无放回抽取3个样本，标签为1的这一类从中随机无放回抽取2个样本，标签为0的这一类从中随机无放回抽取2个样本.3+3+2+2=10. 

(6)抽取数据
# 将 X 转换为 DataFrame
import pandas as pd
df = pd.DataFrame(X2, columns=['Feature1', 'Feature2'])

# 将簇标签添加到原始数据中
df["聚类标签结果"]=kmeans.labels_
df

①随机无放回抽取2个标签为0的样本 
cluster_zero_df = df[df["聚类标签结果"] == 0]
sampled_zero = cluster_zero_df.sample(n=2, replace=False)
②随机无放回抽取2个标签为1的样本 
cluster_one_df = df[df["聚类标签结果"] == 1]
sampled_one = cluster_one_df.sample(n=2, replace=False)
③随机无放回抽取3个标签为2的样本 
cluster_two_df = df[df["聚类标签结果"] == 2]
sampled_two = cluster_two_df.sample(n=3, replace=False)
④随机无放回抽取3个标签为3的样本 
cluster_three_df = df[df["聚类标签结果"] == 3]
sampled_three = cluster_three_df.sample(n=3, replace=False)
 ⑤合并各类抽取后的数据
combined_df = pd.concat([sampled_zero, sampled_one, sampled_two, sampled_three], axis=0)

(三) 将200个多数类样本，和100个少数类样本进行整合。(目标就是多数类样本：少数类样本=2：1) 

combined_df=combined_df.iloc[:, :2]

combined_df["标签"] = 1

df_1类抽样样本=combined_df

df_1类样本= pd.DataFrame(X2, columns=['Feature1', 'Feature2'])

df_0类样本= pd.DataFrame(X1, columns=['Feature1', 'Feature2'])
df_0类样本["标签"]=Y1
data= pd.concat([df_0类样本, df_1类样本,df_1类抽样样本], axis=0)

青春之我_XP
关注
  • 35
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python基于K-means聚类算法的图像分割
09-18
主要介绍了python基于K-means聚类算法的图像分割，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
K-Means欠采样处理不平衡样本python实现
SQAHJSW的博客
04-19 4036
K-Means欠采样python实现 1. K-Means欠采样原理 为解决分类问题中效果受样本集类间不平衡，并提高训练样本的多样性，可以使用K-Means欠采样对样本进行平衡处理。该方法利用K-means方法对大类样本聚类，形成与小类样本个数相同的簇类数，从每个簇中随机抽取单个样本与风险样本形成平衡样本集。K-means欠采样过程如下： Step1：随机初始化k个聚类中心，分别为uj(1,2,…...
数据分析：使用Imblearn处理不平衡数据（过采样、欠采样）
热门推荐
opp003的博客
05-07 2万+
现实环境中，采集的数据（建模样本）往往是比例失衡的。比如网贷数据，逾期人数的比例是极低的（千分之几的比例）。对于这样的数据很难建立表现好的模型。好在Python有Imblearn包，它就是为处理数据比例失衡而生的。 一.安装Imblearn包 pip3 install imblearn 二.过采样 正样本严重不足，那就补充正样本。使用imblearn包中的over_sampling进行过...
Python Monte Carlo K-Means聚类实战研究
拓端研究室TRL
10-25 365
该集群的特点是PPP的汇率低，进口高，出口高，家庭支出高，工业生产高，政府收入相对较高，特别是在健康方面。凝聚聚类是一种自下而上的方法，涉及将较小的聚类（每个输入模式本身）合并为更大的聚类。分裂聚类是一种自上而下的方法，从一个大型集群（所有输入模式）开始，并将它们分成越来越小的集群，直到每个输入模式本身都在集群中。分层聚类通过将小聚类合并为较大的聚类或将较大的聚类分成较小的聚类来形成聚类。在讨论聚类国家和得出结论的结果之前，本文详细介绍了距离度量，聚类质量测量，聚类算法，K-Means聚类算法。
聚类k值确定--肘部法则
m0_58625397的博客
03-01 1906
肘部法 k值确定
聚类算法：K-means聚类图像分割
12-22
K-Means聚类是最常用的聚类算法，最初起源于信号处理，其目标是将数据点划分为K个类簇，找到每个簇的中心并使其度量最小化。该算法的最大优点是简单、便于理解，运算速度较快，缺点是只能应用于连续型数据，并且要在...
k-means-constrained:K均值聚类-受最小和最大聚类大小限制
05-18
K-均值聚类实现，可以为每个聚类指定最小和/或最大大小。 通过将K-means实现公式化为最小成本流（MCF）线性网络优化问题，它可以修改集群分配步骤（EM中的E）。 然后，使用成本缩放推入重新标记算法解决此问题，并...
K-Means聚类分析算法Python实现，并以鸢尾花数据集为例进行聚类演示.zip
12-27
大数据算法在数据分析中发挥着重要的作用，它可以提高分析工作的效率和准确性，为决策提供有力支持。具体来说，大数据算法可以分类、聚类、预测和关联规则分析等，从而发现数据之间的规律和关联关系，挖掘出潜在的...
机器学习之K-means聚类算法
最新发布
weixin_49329177的博客
05-18 468
K-means 算法是一种经典的无监督学习算法，广泛应用于数据聚类领域。该算法的目标是将 n 个观测值划分为 K 个聚类，使得每个观测值都属于离其最近的均值（即聚类中心或质心）所对应的聚类，并且每个聚类内部的数据点尽可能相似，而不同聚类之间的数据点则尽可能不同。K-means 算法作为一种简单而有效的聚类算法，在数据分析和挖掘领域发挥着重要作用。通过不断的研究和改进，K-means 算法及其变种和扩展算法将继续在更多领域发挥更大的作用。
机器学习之sklearn基础教程（第一篇：介绍与安装）
载_酒i
05-15 1363
sklearn（Scikit-learn）是一个用于Python编程语言的机器学习库，它建立在NumPy、SciPy和matplotlib等库的基础上，提供了一套完整且易于使用的工具来进行各种机器学习任务。
论文学习_How Machine Learning Is Solving the Binary Function Similarity Problem
kitsch0x97的博客
05-16 855
研究背景：在各种不同的问题中，精准计算两段二进制代码相似性（代码相似性检测）的能力发挥着非常重要的作用。安全、编程语言分析、机器学习等多个研究社区，专注于这一主题长达五年之久，并且发表了数百篇关于该主题的论文。现存问题：从微观角度来讲，相关研究从可重复性到结果透明性均存在不同程度的问题。从宏观角度来讲，现有研究大部分关心非常具体的细分领域，无法有效的推广到整个研究领域。研究内容。
机器学习高斯贝叶斯算法实战：判断肿瘤是良性还是恶性
Python私教
05-16 581
我们使用威斯康星乳腺肿瘤数据集，来构建一个机器学习模型，用来判断患者的肿瘤是良性还是恶性。
机器学习之sklearn基础教程：新手入门指南
m0_62110645的博客
05-13 259
Scikit-learn 是基于 Python 语言的一个开源机器学习库。它建立在 NumPy、SciPy 和 matplotlib 这些库的基础上，提供了大量的常用机器学习算法的实现。由于其简单、易学的特性，sklearn 成为了机器学习入门者和某些高级项目的首选工具。Sklearn 是一个强大的机器学习库，为机器学习爱好者和专业人士提供了丰富的算法和工具。通过本教程，你应该能够开始使用 sklearn 来实现简单的机器学习模型。随着你对机器学习理解的加深，你将能够探索更复杂的模型和技术。
机器学习（五） ----------决策树算法
2301_77539454的博客
05-12 1362
决策树是一种直观且强大的机器学习算法，它通过树状结构将数据划分为不同的子集，从而进行预测和分类。该算法从根节点开始，根据数据的特征值逐步划分到子节点，最终到达叶节点得出分类或预测结果。决策树模型易于理解，可视化效果好，并且对于非专业人士来说也具有较高的可读性。此外，决策树还具有良好的处理缺失值和异常值的能力，广泛应用于金融、医疗、电商等领域的数据分析中。
【论文阅读】Machine Learning, Linear Algebra, and More: Is SQL All You Need?
lrzHHl的博客
05-13 939
尽管SQL在简单的分析查询中无处不在，但它很少用于更复杂的计算，如机器学习、线性代数和其他计算密集型算法。这些算法通常以过程方式编程，看起来与声明性SQL查询非常不同。然而，SQL实际上提供了执行各种计算的构造。在本文中，我们展示了如何将过程结构转换为SQL-启用复杂的SQL-only算法。在算法中使用SQL可以使计算更接近数据，只需要最小的用户权限，并增加软件的可移植性。生成的SQL算法的性能在很大程度上取决于底层DBMS和SQL代码。
k-fold交叉验证
qq_48185833的博客
05-16 298
交叉验证的基本思想
机器学习 - 不同分类模型的比较
weixin_47552266的博客
05-13 1145
KNN 和逻辑回归在本次任务中表现最佳，具有较高的准确率和平衡的精确度与召回率。逻辑回归提供了概率输出，更适合需要概率解释的场景。决策树在解释性和处理非线性数据方面有优势。KNN在大数据集上运行较慢，因为需要计算每个实例之间的距离。决策树和逻辑回归相对资源消耗较低。很好，我们可以进一步探讨一些可能的改进方法或者根据模型性能的具体分析来提供额外的见解。
基于聚类方法的检测：如k-means等
03-29
基于聚类方法的检测是一种无监督的机器学习方法，其主要思想是通过将数据集划分为不同的簇，并将每个簇视为一种异常模式，从而检测出异常。其中，K-means是一种经典的聚类方法，其基本步骤如下： 1. 随机选择K个中心点作为初始的簇中心； 2. 将每个数据点归属到与其最近的簇中心； 3. 更新每个簇的中心点； 4. 重复执行步骤2和3，直到簇中心不再变化或达到最大迭代次数。 在进行异常检测时，我们可以将数据集中的所有数据点视为一个整体，然后通过K-means将其划分为K个簇。接着，我们可以计算每个簇的中心点和标准差等统计量，并将距离簇中心点较远的数据点视为异常值。需要注意的是，K-means算法的性能受到初始簇中心点的影响，因此需要多次运行K-means并选择最优的结果。 虽然基于聚类方法的检测方法简单易用，但其存在一些局限性。例如，当数据集中存在大量噪声或离群点时，聚类结果可能不准确，导致误检或漏检的情况。此外，聚类方法通常需要手动设置簇的数量K，而该参数的选择可能会影响检测结果的准确性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值