数据挖掘与分析应用：聚类算法，kmeans聚类，DBSCAN基于密度空间聚类，关联规则法探索数据

最新推荐文章于 2023-12-21 21:53:48 发布
最新推荐文章于 2023-12-21 21:53:48 发布
阅读量1k 收藏 6
点赞数
分类专栏： 数据挖掘 文章标签： 数据挖掘 聚类 kmeans DBSCAN 关联规则
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46838716/article/details/127704491
版权

数据挖掘与分析应用：聚类算法，kmeans聚类，DBSCAN基于密度空间聚类，关联规则法探索数据

2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开
测开的话，你就得学数据库，sql，oracle，尤其sql要学，当然，像很多金融企业、安全机构啥的，他们必须要用oracle数据库
这oracle比sql安全，强大多了，所以你需要学习，最重要的，你要是考网络警察公务员，这玩意你不会就别去报名了，耽误时间！
与此同时，既然要考网警之数据分析应用岗，那必然要考数据挖掘基础知识，今天开始咱们就对数据挖掘方面的东西好生讲讲
数据挖掘知识系列文章
【1】数据挖掘与分析应用：理解业务和数据，准备数据，数据清洗，标准化，缺失值处理，构建数据集
【2】数据挖掘与分析应用：算法模型选择与训练、评估模型、上线部署，回到准备数据阶段
【3】数据挖掘与分析应用：分类算法：k近邻KNN，决策树CART，贝叶斯，支持向量机SVM，深度学习DNN，xgboost分类

文章目录

数据挖掘聚类算法k-means聚类

在这里插入图片描述
在这里插入图片描述
没有标签
分开就行
但是类别不清楚

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
核心成员跟谁联系？聚一堆

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
k不能太大，太大就gg
数据量也不能太大

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
只看一小批

在这里插入图片描述

DBSCAN聚类：打破形状，使用密度

在这里插入图片描述
kmeans是基于划分的
在这里插入图片描述
在这里插入图片描述
文字和草原分开
在这里插入图片描述
在这里插入图片描述
算半径
内部的样本量足够密集
在这里插入图片描述
归类
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
你拉我，我拉你
连成一篇
每个区域就是一个聚类结果
游离点就没法玩

不需要划分k
自动分k
噪声点立群OOK

在这里插入图片描述
r和量难顶
数据量大也不行
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

实战

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

关联规则

在这里插入图片描述
生鲜蔬菜要放在超市最里面
在这里插入图片描述
固定项目的集合，数量多
啤酒和尿布
共同超过了k个人
啤酒和尿布就是频繁项目集合

支持度：就是项集xy在总集中的概率k/n
在这里插入图片描述
买x的情况下，买y的概率
置信度

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
买x的情况下买y
提升度高，说明两者关联关系，提升的作用
豆浆油条的提升度高
这就是关联规则
懂？？？？

在这里插入图片描述
在这里插入图片描述
支持度阈值s_th
频繁项集
数字是个数
在这里插入图片描述
网上找

关联规则的序列规则

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
这个课程垃圾，不学了，换一个课程

总结

提示：重要经验：

1）
2）学好oracle，即使经济寒冬，整个测开offer绝对不是问题！同时也是你考公网络警察的必经之路。
3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。

冰露可乐
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
数据分析简单例子
u013774102的博客
01-31 3万+
数据挖掘是一种技术，它将传统的数据分析方法与处理大量数据的复杂算法相结合。 数据挖掘是在大型数据存储库中，自动地发现有用信息的过程。数据挖掘技术用来探查大型数据库，发现先前未知的有用模式。 数据挖掘（Data mining）是一个跨学科的计算机科学分支。它是用人工智能、机器学习、统计学和数据库的交叉方法在相对较大型的数据集中发现模式的计算过程。 数据挖掘的基本任务 利用分类与预测、聚类分
包含KMeans、DBSCAN、LDA和Single_Pass的文本聚类算法程序（python实现）课设
06-14
包含KMeans、DBSCAN、LDA和Single_Pass的文本聚类算法程序（python实现）。 详细信息： 基于KMeans的无监督中文文本聚类 基于DBSCAN的无监督中文文本聚类 基于LDA的无监督文本聚类 基于single pass 策略进行聚类，不需要事先设置类别数
聚类算法Python实现（KMeans、DBSCAN）
11-24
python语言实现的两种常用聚类算法，包括基于原型的KMeans算法以及基于密度的DBSCAN算法
Matlab和Python聚类算法代码包含dbscan和kmeans算法
04-21
Matlab和Python聚类算法代码包含dbscan和kmeans算法
Data Mining_聚类分析&分类器&关联规则&回归分析 (Python)
weixin_45646640的博客
04-06 623
Data Mining_聚类分析&分类器&关联规则&回归分析 (Python)
关联规则+聚类分析+分类算法(数据挖掘)
ros275229的博客
12-21 3819
经典案例 : 尿布与啤酒的故事；
利用常见的数据分析库对数据集可视化分析和聚类分析方法
jojosansy的博客
03-03 1806
cs231n作业knn的学习报告
数据挖掘常用的方法（分类，回归、聚类、关联规则）
热门推荐
03-15 5万+
原文出自：http://www.vsharing.com/k//2013-10/690272.html 在大数据时代，数据挖掘是最关键的工作。大数据的挖掘是从海量、不完全的、有噪声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知识的过程，也是一种决策支持过程。其主要基于人工智能，机器学习，模式学习，统计学等。通过对大数据高度自动化地分析，做出归纳性的推理，从中挖掘
聚类算法实验常用数据集
weixin_46005626的博客
02-12 8263
文章目录前言一、二维人工数据集二、UCI真实数据集下载地址 前言 本文包含了我在实验中使用和收集到的一些非常好(经典聚类算法效果都不大行)的数据集，已经对数据和标签进行了分离，txt格式，直接用，very good！ 一、二维人工数据集 包含了简单的流形数据，球形数据，无噪声数据，复杂结构包含噪声的数据集。 二、UCI真实数据集 包含了10个数据集 Dataset Dimensions Clusters iris 4 3 wine 13 3 control 60 6 seg
关联分析和聚类
weixin_47072998的博客
03-19 2268
http://c.biancheng.net/view/3703.html 关联规则 支持度 一般要求一定支持度以上，才有分析价值，一般最小支持度不易太低， 规则一：支持度大于xx 一般地，只需关心那些不被其他频繁项集所包含的所谓最大频繁项集的集合。发现所有的频繁项集是形成关联规则的基础。 例外情况，稀有模式挖掘eg：爱马仕和劳力士 置信度 规则二：置信度 （一般分析强关联，保留高置信度） 支持度：几个关联的数据在数据集中出现的次数占总数据集的比重 置信度：一个数据出现后，另一个数据出现的概率，或者说数
实验二 聚类算法_Kmeans_DBSCAN_matlab_聚类算法
09-11
kmeans和dbscan的聚类算法的matlab实现
聚类算法 实现Kmeans，DBSCAN以及谱聚类.zip
最新发布
05-08
聚类算法要把M个数据点按照分布分成K类（很多算法的K是人为提前设定的）。我们希望通过聚类算法得到 K个中心点，以及每个数据点属于哪个中心点的划分。 中心点可以通过迭代算法来找到，满足条件：所有的数据点到...
聚类算法 ： Kmeans、Kmeans++、肘方法 - DBSCAN
04-05
聚类算法 ： Kmeans、Kmeans++、肘方法 - DBSCAN
人工智能-聚类(kmeans&&dbscan算法)-图像识别-python
12-26
2.DBSCAN算法将具有足够密度的区域划分为簇，并在具有噪声的空间数据库中发现任意形状的簇，它将簇定义为密度相连的点的最大集合。 算法功能：通过以上两种方法对图像实现聚类（无监督学习），并比较其区别。
图解机器学习算法(13) | 聚类算法详解（机器学习通关指南·完结）
ShowMeAI研究中心
03-12 1万+
聚类是最常见的无监督学习算法。本文讲解聚类问题常见算法及用途，包括划分聚类的K-Means算法、K-Medoids算法，层次聚类的Single-Linkage 算法、Complete-Linkage算法，和DB-SCAN算法。
【论文阅读】25-数据挖掘中的聚类算法综述
小rivaaaa的博客
12-06 985
【论文阅读】24-数据挖掘中的聚类算法综述0、basic info 0、basic info 贺玲, 吴玲达, 蔡益朝. 数据挖掘中的聚类算法综述[J]. 计算机应用研究, 2007, 24(1):10-13.
机器学习（5）——数据探索与可视化（1）
WHJ226的博客
06-21 1703
目录1 缺失值处理1.1 简单的缺失值处理方法1.1.1 发现数据中的缺失值1.1.2 剔除带有缺失值的行或列1.1.3 对缺失值进行插补 1.2 复杂的缺失值填充方法1.2.1 IterativeImputer多变量缺失值填充1.2.2 K-近邻缺失值填充1.2.3 随机森林缺失值填充2 数据描述与异常值发现2.1 数据描述统计2.1.1 数据集中的位置2.1.2 离散程度2.1.3 偏度和峰度2.1.4 单个数据变量的分布情况2.2 发现异常值的基本方法在数据探索过程中，面对一组已经读取的数据，首要的问
机器学习（6）——数据探索与可视化（2）
WHJ226的博客
06-23 1500
目录1 可视化分析数据关系1.1 连续变量间关系可视化分析1.1.1 两个连续变量之间的可视化1.1.2 多个连续变量之间的可视化1.2 分类变量间关系可视化分析1.2.1 两个分类变量1.2.2 多个分类变量1.3 连续变量和分类变量间关系可视化分析1.3.1 一个分类变量和一个连续变量1.3.2 两个分类变量和一个连续变量1.3.3 两个分类变量和两个连续变量1.3.4 一个分类变量和多个连续变量1.4 其他类型数据可视化分析1.4.1 时间序列数据1.4.2 文本数据 1.4.3 社交网络数据2 数据
关联规则算法在游戏行业中的应用
诗酒趁年华。
10-06 2390
关联规则算法在游戏行业中的应用 Apriori算法应用广泛，可用于消费市场价格分析，猜测顾客的消费习惯，比如较有名的“尿布和啤酒”的故事。其核心思想是通过连接产生候选项及其支持度，然后通过剪枝生成频繁项集，这里的频繁项集是指所有支持度大于等于给定最小支持度的项集。 项集：在关联分析中，包含0个或多个项的集合被称为项集（itemset）。如果一个项集包含k个项，则称它为k-项集。例如:{新手礼包，8条钥匙，10000金币，十个滑板} 是一个4-项集。空集是指不包含任何项的项集。 现有数据集如下： 其中：pl
基于dbscan算法对多个plt轨迹数据文件进行聚类，并且以folium高德地图可视化轨迹数据
06-07
好的，这里是基于 DBSCAN 算法对多个 .plt 轨迹数据文件进行聚类，并以 folium 高德地图可视化轨迹数据的代码实现： 首先，需要安装 folium、pandas、numpy、scikit-learn 库。 ```python !pip install folium pandas numpy scikit-learn ``` 然后，按照以下步骤进行操作： 1. 导入所需库： ```python import os import pandas as pd import numpy as np from sklearn.cluster import DBSCAN import folium from folium.plugins import HeatMap ``` 2. 定义函数来读取数据并将其转换为用于聚类的格式： ```python def read_file(file_path): data = pd.read_csv(file_path, skiprows=6, header=None, names=['lat', 'lon', 'zero', 'alt', 'days', 'date', 'time']) data = data.drop(['zero', 'alt'], axis=1) data = data.dropna() data['datetime'] = pd.to_datetime(data['days'].astype(int).astype(str) + ' ' + data['time']) data['lat'] = data['lat'].astype(float) data['lon'] = data['lon'].astype(float) data = data.drop(['days', 'date', 'time'], axis=1) return np.array(data[['lat', 'lon']].values.tolist()) ``` 3. 定义函数来执行聚类： ```python def perform_clustering(data, eps, min_samples): db = DBSCAN(eps=eps, min_samples=min_samples, algorithm='ball_tree', metric='haversine').fit(np.radians(data)) cluster_labels = db.labels_ num_clusters = len(set(cluster_labels)) return cluster_labels, num_clusters ``` 4. 定义函数来可视化聚类结果： ```python def visualize_clusters(data, cluster_labels, num_clusters): m = folium.Map(location=[data[:, 0].mean(), data[:, 1].mean()], zoom_start=12) colors = ['red', 'blue', 'green', 'purple', 'orange', 'darkred', 'lightred', 'beige', 'darkblue', 'darkgreen', 'cadetblue', 'darkpurple', 'pink', 'lightblue', 'lightgreen', 'gray', 'black', 'lightgray'] for i in range(num_clusters): cluster_data = data[cluster_labels == i] if len(cluster_data) > 0: HeatMap(cluster_data, radius=15, blur=10, max_zoom=13, gradient={0.4: colors[i % len(colors)]}).add_to(m) return m ``` 5. 遍历文件夹中的所有文件并聚类它们： ```python file_path = 'geolife_sample' # 数据文件夹路径 eps = 100 # 聚类半径 min_samples = 10 # 最小样本数 for file_name in os.listdir(file_path): if file_name.endswith('.plt'): file_full_path = os.path.join(file_path, file_name) data = read_file(file_full_path) cluster_labels, num_clusters = perform_clustering(data, eps, min_samples) m = visualize_clusters(data, cluster_labels, num_clusters) html_file_path = file_full_path.replace('.plt', '.html') m.save(html_file_path) ``` 这将为每个 .plt 文件创建一个 HTML 文件，其中包含可视化的聚类结果。 希望这可以帮助您实现您的项目！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

冰露可乐

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值