案例五:摩拜单车停放点(聚类分析)

案例背景

数据集 mobike 给出了上海市某日 27 万辆摩拜单车的实时位置(经纬度),请利用聚类分析找到由摩拜单车用户自发形成的单车停放点,其中停放点定义为在某一区域内停放的摩拜单车超过 50 辆。

数据预处理

  • 导入库
import pandas as pd
import numpy as np
import os
from sklearn.cluster import KMeans
from sklearn import cluster
from sklearn import metrics
from sklearn.neighbors import NearestNeighbors
import matplotlib.pyplot as plt
  • 读取数据
df=pd.read_csv('mobike.csv',header=None)
  • 增加列名
df.columns=['time','mobike','longitude','latitude']
  • 每列的数据类型
df.dtypes

在这里插入图片描述

  • 处理缺失值
  1. 查看缺失值情况
df.isna().sum()

在这里插入图片描述

DBSCAN

要求

请利用 DBSCAN 聚类,结合 DBI 指数确定单车停放点数量

模型参数
cluster.DBSCAN().get_params()

{‘algorithm’: ‘auto’,
‘eps’: 0.5,
‘leaf_size’: 30,
‘metric’: ‘euclidean’,
‘metric_params’: None,
‘min_samples’: 5,
‘n_jobs’: None,
‘p’: None}

寻找DBSCAN的eps参数
  • 将原始数据的经度和维度提取出来
data=df.loc[:,['longitude','latitude']]
  • 画出每个点附近距离第50个点的距离
nbrs=NearestNeighbors(n_neighbors=50).fit(data)  #找到距离最近的50个点
distances,indices=nbrs.kneighbors(data)  #计算每个点最近的50个点的距离
dist=distances[:,49]
dist_=np.sort(dist)
plt.plot(dist_)

在这里插入图片描述
拐点大概在0.005的位置

进行聚类
mdl_dbscan=cluster.DBSCAN(eps=0.004,min_samples=50).fit(data)
count=pd.Series(mdl_dbscan.labels_).value_counts()  #展示有多少类,每类有多少个样本
plt.figure()
plt.scatter(x='longitude',y='latitude',data=data,c=mdl_dbscan.labels_)
print(metrics.davies_bouldin_score(data,mdl_dbscan.labels_))

DBI=1.441
停放点数量:165
在这里插入图片描述
在这里插入图片描述

KMEANS

要求

在上一题得到的停放点数量基础上,使用 kmeans 算法重新对数据集进行聚类,计算每个停放点的单车数量。

模型建立
from sklearn.cluster import KMeans
mdl_kmeans=KMeans(n_clusters=165).fit(data)
  • 统计每个类的个数
count2=pd.Series(mdl_kmeans.labels_).value_counts()         

在这里插入图片描述

  • 每个类中的坐标
km_centor=pd.DataFrame(mdl_kmeans.cluster_centers_,columns=['longitude','latitude'])

在这里插入图片描述

画图
plt.rcParams['savefig.dpi']=300 #像素
plt.rcParams['figure.dpi'] = 100 #分辨率
plt.rcParams['figure.figsize']=(8.0,6.0) #图片大小比例
plt.figure()
plt.scatter(x='longitude',y='latitude',data=data,c=mdl_kmeans.labels_ ,s=0.5) 
plt.scatter(x='longitude',y='latitude',data=km_centor,c='k',s=4)
plt.scatter(x='longitude',y='latitude',data=center_10_cordinate,c='r',marker='*',s=20)
plt.savefig('mobike.png')

在这里插入图片描述

类中心
mdl_kmeans.cluster_centers_   

在这里插入图片描述

数量最多的十个类中心点
center_10=list(count2.index[:10])
center_10_cordinate=[]
for index in center_10:
    cordinate=mdl_kmeans.cluster_centers_[index]
    print(cordinate)
    center_10_cordinate.append(cordinate)

在这里插入图片描述

  • 10
    点赞
  • 84
    收藏
    觉得还不错? 一键收藏
  • 16
    评论
1. 项目背景 基于项目提供的汽车相关数据,通过聚类分析的方法实现汽车产品聚类,以构建汽车产品画像、分析产品定位、完成汽车竞品分析等要求。 2. 项目数据 项目提供的汽车数据包括26个字段共205条数据,数据文件为“car_price.csv” 26个字段可以划分为类别型变量和数值型变量两种,包括汽车的长/宽/高、汽车净重、燃油系统、燃油类型、驱动类型、峰值转速、里程数、汽车价格等。 3. 项目要求 通过聚类的方法构建汽车产品画像、分析不同类别汽车的产品定位,寻找Volkswagen大众汽车的竞品品牌。 4. 项目思路 第一步:数据字段理解 根据项目所提供的数据,对数据中26个字段进行理解。结合汽车行业的相关知识,26个字段可以大致归为两类:第一类是车辆自身属性(如燃油系统、燃油类型、汽缸数、峰值转速、汽车长宽高等);第二类是车辆的市场属性(如车辆名称、车辆价格、风险评估等级)。 26个字段主要分为数值型变量和类别型变量两类。 第二步:原始数据描述性统计及变量分布可视化 对原始数据进行描述性统计并对数据中的字段分布进行可视化(详情见主文档)。通过对原始数据的观察,数据不存在缺失值、不存在重复值,“CarName”字段存在部分车辆品牌名称错误的情况。 第三步:确定聚类方法,明确聚类要求 通过对原始数据的变量观察,该数据变量主要为数值型变量和类别型变量两类,且类别型变量数量较多,常用的K-means聚类只能分析数值型变量,无法考虑类别型变量所包含的信息。二阶段聚类法适用于包含数值型和类别型变量的混合数据,因此考虑使用二阶段聚类法分析数据。 二阶段聚类法的要求是:类别型变量符合多项式分布(即变量的值分属几个类别);数值型变量间要相互独立,且数值型变量近似服从正态分布。项目所给出的数据中,类别型变量符合多项式分布,因此仅需进一步观察并处理数值型变量。 第四步:特征工程 数据清洗与新变量生成。原始数据指给出了车辆的名称,没有给出车辆所属品牌,结合最终聚类分析的需要,根据“CarName”字段提取出车辆所属品牌信息,命名为“brand”。同时对品牌名称中的错误拼写进行清洗。 变量相关性分析与可视化。由于二阶段聚类要求数值型变量间相互独立,所以需要对数值型变量间的相关性进行查看与处理。相关性分析结果表示14个数值型变量之间存在高相关性情况,需要结合汽车知识背景与变量特征进行进一步处理。 高相关变量的处理——“highwaympg”和“citympg”呈高度正相关。其实不管是高速mpg还是城市mpg,其本质都是mpg指标,而且通过观察数据,二者之间的差异较小(极值、均值),因此考虑将二者合并为一个指标'mpg',计算方式为取二者均值:mpg=(highwaympg+citympg)/2; 高相关性变量的处理——“price”变量与其余变量产生高相关性的频数最多,可能是因为车辆自身属性和配置的变动会直接影响着车辆的市场价格。此外,与其他变量相比,price属性属于车辆的市场销售属性(而非车辆自身属性),在聚类中更适合作为类别型变量,对车辆的价位进行划分,因此,考虑将price变量转换为类别型变量,按照其价格分布划分为Low price(20000)三类; 高相关性变量的处理——对于其余数值型变量,变量数目较多且多个变量之间存在相关性,因此考虑使用因子分析对数值型变量进行降维,以减少数值型变量的数目并使变量间相互独立。 第步:数值型变量因子分析结果(基于SPSS实现) 利用SPSS对数值型变量进行因子分析,KMO值>0.8,巴特利球形检验p值=0,说明参与因子分析的变量间存在相关性,可以进行因子分析。最终得到两个因子。 第一个因子包括:车长、车宽、车净重、引擎尺寸、车轴距、mpg、马力、车内径比。简单将该因子归纳为车辆截面与马力因子; 第二个因子包括:车高、峰值转速、车压缩比。简单将该因子归纳为车辆垂面与转速因子; 第六步:两阶段聚类及结果(基于SPSS实现) 对处理后的数据进行两阶段聚类,最终将205辆车聚为两类。 根据SPSS聚类结果,第一类中包含120条车辆数据,占总数据的58.5%;第二类中包含85条车辆数据,占总数据的41.5%。两类簇数据规模近似,没有过大或过小的类簇。 根据SPSS聚类结果,聚类质量属于“良好”范围,仍有进一步改进和优化的空间。 根据SPSS聚类结果,显著区分两类类簇的变量(重要性>0.6)按重要性大小排序依次是驱动类型、燃油系统、车辆截面与马力因子、价格范围。 汽车产品画像与产品定位 根据区分类簇的四个重要标签来对数据中的汽车产品进行产品画像与产品定位。 第一类画像:驱动类型多为fwd(前轮驱动),燃油系统多

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 16
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值