Course_clustering_model

最新推荐文章于 2022-04-08 12:55:41 发布
最新推荐文章于 2022-04-08 12:55:41 发布
阅读量440 收藏
点赞数
分类专栏： 数据科学入门到精通 文章标签： 数据科学
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40903057/article/details/95350882
版权
本文介绍了如何使用K-means聚类分析构建用户画像。首先，进行了数据预处理，包括填充缺失值、修正错误值、处理离散型变量。接着，通过分析变量将数据分为家庭属性和用户偏好两大维度，并进行因子分析。最后，选择了合适的K值进行聚类，得到了用户的不同特征群体，揭示了用户的行为和属性模式。
摘要由CSDN通过智能技术生成

|字段|含义|类型|
|:–?:–?
|interested_travel |旅行偏好|二分类|
|computer_owner |是否有家用电脑|二分类|
|age |估计的年龄|连续|
|home_value |房产价格|连续|
|loan_ratio|贷款比率|连续|
|risk_score |风险分数|连续|
|marital |婚姻状况估计|连续|
|interested_sport |运动偏好|连续|
|HH_grandparent|户主祖父母是否健在估计|连续|
|HH_dieting |户主节食偏好|连续|
|HH_head_age|户主年龄|连续|
|auto_member |驾驶俱乐部估计|连续|
|interested_golf |高尔夫偏好|二分类|
|interested_gambling |博彩偏好|二分类|
|HH_has_children |户主是否有孩子|二分类|
|HH_adults_num |家庭成年人数量|连续|
|interested_reading |阅读偏好|有序分类|

1、数据集中的变量较多，如果全部进入模型会导致模型解释困难。因此，一方面我们对于有相关性的变量进行降维，减少变量数目；另一方面，基于业务理解，我们预先将变量进行分组，使得同一组的变量能尽量解释业务的一个方面。比如本例中将变量分成两组，分别是家庭基本情况和用户爱好，通过对每组变量分别进行聚类，获取用户的侧写，再将两个聚类结果进行综合，以获得较完整的用户画像。

2、本例中数据类型复杂，包含了连续变量、无序分类和有序分类变量。由于K-means仅用于连续型变量聚类，因此需要对变量进行预处理。对于有序分类变量，如果分类水平较多可以视作连续变量处理，否则视作无序分类变量一样处理，再进入模型；无序分类变量数目较少时，可以使用其哑变量编码进入模型。本例中由于有较多的二分类变量，又集中在用户爱好这一方面，因此我们将interested_reading这一有序分类变量二值化，再与其他几个二分类变量一起进行汇总，得到用户的“爱好广度”，使用“爱好广度”与其他连续型的爱好类变量进行聚类。

3、离散变量如HH_has_children一般不参与聚类，因为其本身就可以视作是簇的标签；如果为了后期解释模型时简化处理，在离散变量不多的情况之下，也可以做哑变量变换后进入模型。

读取数据

%matplotlib inline
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

travel = pd.read_csv('data_travel.csv',skipinitialspace=True)
travel.head()
interested_travel computer_owner age home_value loan_ratio risk_score marital interested_sport HH_grandparent HH_dieting HH_head_age auto_member interested_golf interested_gambling HH_has_children HH_adults_num interested_reading
0 NaN NaN 64 124035 73 932 3 312 420 149 96 626 0 0 NaN NaN 0
1 0.0 1.0 69 138574 73 1000 7 241 711 263 68 658 0 0 N 5.0 3
2 0.0 0.0 57 148136 77 688 1 367 240 240 56 354 0 1 N 2.0 1
3 1.0 1.0 80 162532 74 932 7 291 832 197 86 462 1 1 Y 2.0 3
4 1.0 1.0 48 133580 77 987 10 137 121 209 42 423 0 1 Y 3.0 3 
travel.describe(include='all')
interested_travel computer_owner age home_value loan_ratio risk_score marital interested_sport HH_grandparent HH_dieting HH_head_age auto_member interested_golf interested_gambling HH_has_children HH_adults_num interested_reading
count 149788.000000 149788.000000 167177.000000 167177.000000 167177.000000 167177.000000 167177.000000 167177.000000 167177.000000 167177.000000 167177.000000 167177.000000 167177.000000 167177.000000 159899 145906.000000 167177
unique NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 2 NaN 5
top NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN N NaN 3
freq NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 111462 NaN 65096
mean 0.427745 0.856571 59.507079 207621.314798 66.762707 817.031751 6.884015 259.431776 377.072498 204.593341 59.368023 486.861273 0.373012 0.357842 NaN 2.770832 NaN
std 0.494753 0.350511 14.311733 107822.501900 9.751835 165.490295 2.610552 78.867456 248.045395 78.971038 16.712912 151.167457 0.483607 0.479367 NaN 1.285417 NaN
min 0.000000 0.000000 18.000000 48910.000000 0.000000 1.000000 1.000000 60.000000 0.000000 47.000000 18.000000 49.000000 0.000000 0.000000 NaN 0.000000 NaN
25% 0.000000 1.000000 49.000000 135595.000000 63.000000 748.000000 5.000000 204.000000 182.000000 144.000000 48.000000 377.000000 0.000000 0.000000 NaN 2.000000 NaN
50% 0.000000 1.000000 59.000000 182106.000000 69.000000 844.000000 7.000000 251.000000 351.000000 185.000000 60.000000 492.000000 0.000000 0.000000 NaN 2.000000 NaN
75% 1.000000 1.000000 70.000000 248277.000000 73.000000 945.000000 9.000000 306.000000 528.000000 252.000000 71.000000 600.000000 1.000000 1.000000 NaN 4.000000 NaN
max 1.000000 1.000000 99.000000 1000000.000000 102.000000 1000.000000 10.000000 920.000000 980.000000 633.000000 99.000000 878.000000 1.000000 1.000000 NaN 7.000000 NaN

数据预处理

填补缺失值

有缺失情况的变量皆为分类变量，且确实比例并不高，因此用众数进行填补

fill_cols = ['interested_travel', 'computer_owner', 'HH_adults_num']
fill_values = {
   col: travel[col].mode()[0] for col in fill_cols}

travel = travel.fillna(fill_values)
修正错误值

HH_has_children的分类水平以字符形式表示，需要转换为整型，同时其中的缺失值应当表示没有小孩，因此替换为0
阅读爱好interested_reading中包含错误值“.”，将其以0进行替换，代表该用户对阅读没有兴趣。

travel['interested_reading'].value_counts(dropna=False)

3    65096
1    43832
0    32919
2    24488
.      842
Name: interested_reading, dtype: int64

travel['HH_has_children'] = travel['HH_has_children']\
    .replace({
   'N':0, 'Y':1, np.NaN:0})
    
travel['interested_reading'] = travel['interested_reading']\
    .replace({
   '.':'0'}
最低0.47元/天 解锁文章
涤生（bluez）
关注
专栏目录
AI: 开始学习AI-- Machine Learning 。五， 聚类模型的介绍与创建 （clustering Model）
段传涛 的专栏
05-12 1647
clustering
Clustering：Model-Based Algorithm
Coding、Learning and Sharing
03-13 1167
Clustering：Model-Based Algorithm   我们在前面学习过的Clustering算法模型有： 基于划分(Partitioning)：K-Means及其扩展算法 基于层次(Hierarchical)：Hierarchical Cluster算法 这两类算法能够在大多数常规数据空间中运行良好，但是其缺点也是比较明显。数据本身的特性，如欧式空间限制、初始值限制等...
旅游企业客户洞察案例练习
u010380670的博客
11-27 1294
案例说明 一家跨国旅游企业想对公司近8年历史消费客户做一个分析，了解客户的特征，从而针对不同客户的特征做出相应的营销策略，最大化投入产出比。通过识别高价值、高潜力的客户，实行差异化的客户管理策略，优化客户体验。为实现这一目标，通过客户分群技术，将具有相似特性的客户聚到相同类中，为每个不同特点的客户群体提供具有针对性、个性化的营销和管理活动。 建模分析思路： 1.对于有相关性的变量进行降维，减少变...
PCA&FA-profile_telecom
weixin_40903057的博客
07-10 268
%matplotlib inline import pandas as pd import numpy as np import matplotlib.pyplot as plt from sklearn.decomposition import PCA import os os.chdir('Q:/data') pd.set_option('display.max_columns', Non...
聚类（Clustering）
yongge1981的专栏
07-26 1430
本节主要描述MLlib中的聚类算法，基于RDD API的聚类指南中，也包括这些算法的相关信息。 目录 K-means（聚类） Input Columns Output Columns Latent Dirichlet allocation (LDA，潜在狄利克雷分布) Bisecting k-means（二分K均值） Gaussian Mixture Model (GMM，高...
Computational_Finance_An_Introductory_Course_with_R_（2014）.rar
07-09
Chapters 2 and 3 give the necessary tools of Statistics for analyzing financial time series, it also goes in depth into the concepts of correlation, causality and clustering. Chapters 4 and 5 review ...
course_机器学习
11-08
聚类（Clustering） ##### 12.1 K-均值算法 K-均值算法是一种简单的无监督学习方法，用于将数据分成K个簇。 ##### 12.2 优点 K-均值算法的优点在于其实现简单，易于理解和解释。 以上就是从给定文件的标题、描述...
论文翻译：2021_Towards model compression for deep learning based speech enhancement
www_xuhss_com的博客
04-08 1554
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/course/detail/35475 目录 摘要1  引言2  算法描述A  基于DNN的语音增强B  迭代非结构化和结构化剪枝C  稀疏正则化D  基于聚类的量化3  实验步骤A  数据处理B&nbsp
python kmeans聚类结果怎么分析_Python K-means用户聚类分析（小白练手）
weixin_39816448的博客
12-09 1647
数据分析渣一枚，SQL语言写6了，python还在不断进阶阶段，结合已有的数据源+两年前看的一点python基础+网上参考的无数实例，试写一个K-means的聚类分析，请各位大神们疯狂鞭挞，各位小白们互相学习进步吖>o" />选取2019年第四季度某产品用户数据，开始具体编写：导入模块#导入数据分析大家庭import pandas as pdimport numpy as npfrom...
ccs怎么把2个变量都在一个graph中显示_变量压缩之因子分析层次聚类（二）
weixin_34099891的博客
01-15 619
# coding: utf-8 """ X1 GDP X2 人均GDP X3 工业增加值 X4 第三产业增加值 X5 固定资产投资 X6 基本建设投资 X7 社会消费品零售总额 X8 海关出口总额 X9 地方财政收入 """ # 一、主成分分析 # - 1、引入数据 import pandas as pd import os os.chdir(r"D:Python_Trainingscript_P...
机器学习中离散特征的聚类方法
Liao_Wenzhe的博客
03-30 4958
有时候我们要对离散特征进行相似聚类，数据样例如下： 可以看到有很多非连续的特征，没法直接利用聚类的距离度量，因此这种状况计算类别有几种方式： 1. 图聚类，就是将特征转化为图中的一个点，然后跑图算法。 2. 先用文本距离算法（例如jaccard）计算好相似矩阵，再利用sklearn dbscana的precomputd参数，先计算好相似矩阵，再进行聚类。 例如： import numpy as np from scipy.spatial.distance import pdist .
【python】PCA降维及其在分类问题中的应用
热门推荐
XYZ
03-05 1万+
1. 机器学习的类别 机器学习分为四大块，如下图所示，分别是：classification (分类)，regression (回归),clustering (聚类),dimensionality reduction (降维)。 区分方式：给定一个样本特征, 我们希望预测其对应的属性值, 如果是离散的, 那么这就是一个分类问题，反之，如果是连续的实数, 这就是一个回归问题...
Spark机器学习基础二
aliexie2869的博客
04-15 261
无监督学习 0.K-means from __future__ import print_function from pyspark.ml.clustering import KMeans #from pyspark.ml.evaluation import ClusteringEvaluator from pyspark.sql import SparkSession import p...
python 笔记 size-constrained-clustering （对类别大小做限制的聚类问题）
qq_40206371的博客
02-15 1698
大小限制的聚类问题 1 主要方法 # 导入库 from size_constrained_clustering import fcm, equal, minmax, shrinkage,da # by default it is euclidean distance, but can select others from sklearn.metrics.pairwise import haversine_distances from sklearn.datasets import make_blobs
[学习笔记] 神经网络之三：BERT和相似度（1）
bull521的博客
03-30 6669
BERT本身提供了句子匹配的功能，它的做法是把相似度任务转化成二分类任务做的，匹配/不匹配。把两个句子先拼接成 "[CLS]" + seq1 + "[SEP]" + seq2 + "[SEP]"，然后取得[CLS]对应的向量，并经过一个sofmax，最后完成分类。 在论文Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks...
ver0.83--preproc_data.m
Enjolras_fuu的博客
01-11 1080
function [pd,labnew] = preproc_data(id,n,labels,rand_on) %preproc_data MNIST手写图像数据库预处理。 % % Syntax % % [pd,labnew] = preproc_data(id,n,labels,rand_on) % % Description % Input: % id - 图像
k-means算法
bookwormno1的专栏
10-19 3694
漫谈 Clustering (1): k-means 该文转自：http://blog.pluskid.org/?p=17 by pluskid, on 2008-12-29, in Machine Learning     41 comments 本
漫谈Clustering：高斯混合模型(GMM)
bitcarmanlee的博客
08-15 9584
上一次我们谈到了用 k-means 进行聚类的方法，这次我们来说一下另一个很流行的算法：Gaussian Mixture Model (GMM)。事实上，GMM 和 k-means 很像，不过 GMM 是学习出一些概率密度函数来（所以 GMM 除了用在 clustering 上之外，还经常被用于 density estimation ），简单地说，k-means 的结果是每个数据点被 assign
xinhaofenxuan_脉冲重复间隔信号分选_信号分选_信号聚类_分选_聚类分选_
最新发布
10-16
xinhaofenxuan是一种基于脉冲重复间隔的信号分选方法，它可以对信号进行聚类和分选。在信号分选过程中，xinhaofenxuan通过对脉冲重复间隔进行分析和处理，将信号分为不同的簇或类别。这种方法可以用于各种领域的信号...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值