大数据:运用Hash思维做聚类,不需要训练的平衡聚类

针对大量用户行为数据,通过建立用户行为编号词典和生成特征数组,利用Hash思维解决无需训练的聚类问题。通过计算用户数据与预设K值的相似度,实现了简单的聚类效果。额外讨论了数据倾斜和用户使用次数的处理方法,以及选择余弦相似度优于欧氏距离的理由。
摘要由CSDN通过智能技术生成

应用场景:

现在有大量的用户行为数据,样本如下:
用户A:‘网页登录’->‘选择商品A’->‘购买’
用户B:‘手机登录’->‘进入游戏中心’->‘开始玩斗地主’

这些都是用户单次登录后的行为数据流。需要将类似行为的用户数据流简单聚类,存储到不同的分区,方便后续的进一步分析。

面临问题:

  1. 用户行为太多,上千种:‘选择’,‘浏览’,‘管理’,‘玩耍’
  2. 不了解数据分布情况,不希望做数据分析
  3. 只希望简单实现,不希望用Kmeans等方法分类

解决思路:

  1. 解决分类问题,可以采用数据库常用方法Hash的思路

  2. 解决聚类问题,可以采用Kmeans的思路

具体实现步骤:

  1. 用户行为编号词典:
    [网页登录,手机登录,浏览选择,购买,游戏中心,玩斗地主]
    [1,1,1,1,1,1]

  2. 生成用户行为特征数组
    用户A: ‘网页登录’->‘选择商品A’->‘购买’
    用户B:‘手机登录’->‘进入游戏中心’->‘开始玩斗地主’
    用户A:[1,0,1,1,0,0]
    用户B:[0,1,0,0,1,1]

  3. 事前随机生成K值,依据需要的分区数量
    K值A

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值