如何用Python和数据分析鉴别刷单!?

且看小Q如何吃一堑,长两智

发际线堪忧的小Q,为了守住头发最后的尊严,深入分析了几十款防脱洗发水的评价,最后综合选了一款他认为最完美的防脱洗发水。

一星期后,他没察觉到任何变化。

一个月后,他用卷尺量了量,发际线竟然后退了0.5cm!难道防脱要经历一个物极必反的过程,先脱再长?小Q不甘心,决定继续坚持。

两个月后,小Q心如死灰,忍不住和小Z抱怨。

!!!!!!

这句话,平地一惊雷,炸出了小Q惨痛的网购回忆。

他,屡屡冲着卖家秀而去,却屡屡化身买家秀而归。

说好的椰子!?

我想买两个杯子来着,怎么变成了一个!?

小Q曾经因为网购吃亏太多,而为自己的颜值和智商担忧。但经过小Z的点拨,他认定了一件事:活成卖家秀,并不是自身的问题,而是万恶的假评价误导了自己的消费决策。

为了自己,为了让更多的朋友免受误导,他和小Z一拍即合,决定用数据思维来鉴定刷单。

经过一番翻云覆雨,终于总结出了用数据鉴定刷单的两板斧。

第一板斧:评销比

购买——使用——评价是一个完整的购后链路。消费者在购买了产品之后,一定会使用,但评价则需要一定场景来触发。

比如这个产品超出预期,我要感谢卖家!或者这个产品在侮辱我的智商,我要骂街!

当然,还存在一部分为了刷积分而评价的人,不过正常情况下,主动评论的人占总人数的比重是维持在稳定水平的。

如果有通过大规模红包返现或其他人为手段刷的好评,在同样购买人数的前提下,参与评价的人大概率是高于正常的。

怎么衡量这个比例是否合理呢?这里,我们引入一个叫做评销比的指标。

评销比 = 单款产品总评论数 / 单款产品总销量 * 100,以此来衡量平均每卖出100单位的产品,对应着多少条评价。

接下来,我们导入爬取的脱敏真实数据(为了去重广告嫌疑脱的敏)来实践一下:

增加一列计算评销比:

看看评销比分布形态,数据在20左右分散开来,略微偏右:

从评销比分布图,可以看出在40处有二次下跌,我们暂且把40(一般也可以尝试平均值)设置为一个筛选阈值,高于阈值的判定为有刷单嫌疑。

第一版斧挥过,12%疑似刷单的产品应声倒下,小Z露出了欣慰的微笑。

小Q却眉头紧锁:“这个鉴定逻辑是有一定道理,但是,我买的那款洗发水竟然逃过了筛选!”

不要慌,我们还有第二板斧保驾护航。

第二板斧:内容重复度

第二板斧整个判别逻辑极其简单粗暴:对于一款产品,如果存在不同的用户,在不同的时间,评论了相同的内容,那妥妥的是刷啊!

直接上案例数据,我们爬取了小Q购买的那款防脱洗发水评价,共计1706条:

为了让鉴别更加科学,先换位思考:除极端情绪外,我们自己在评论时总会用“还行”、“一般般”、“刚收到,还没用”等短评来敷衍。这些短评非常容易重复,但也不能说是刷的评价。

so,我们在用重复度鉴别时,可以先预设一个评论长度作为筛选标准,比如只对超过15个字的评论进行重复度匹配:

长度筛选之后,正好还剩下1200条评价,下面开始正式匹配。大家如果想更精细,可以考虑用文本挖掘等高阶方法,在这里我们用最最最简单粗暴的文本排序:

前6条评价,有3个不同的客户,分别在19年的10月16日、24日和21日发表了相同的内容,他们都受高考压力影响,脱发严重,每天房间、床铺、地上掉满他们的头发。

幸好!!!他们在秃顶前遇到了这款洗发水!用了几次不仅比之前掉的少,还新长出来了一些小碎发!

177个字,洋洋洒洒,令人动容!

但这到底是偶然的巧合还是有组织刷的评价呢?我们不能这么简单下定论。

继续看一看,这些长篇大论一字不差的重复评论有多少条:

注:A,B,C三条内容完全一样,则统计为3条重复评价

1200条超过15个字的评价,有378条是虚伪的,占比高达31.5%。

他们文风多变,除了“高考压力”,还有“为父分忧而买”、也有“被微博广告安利”、甚至有“担心被骗,用第二套才敢评价的”。

可谓情真而意切,感人而至深!

小Z看过评价,深深不能自拔,瞬间理解了小Q为什么被忽悠。

“你跺你也麻啊!”

幸好,以后有了这两板斧保驾护航,再也不用担心这些虚评假意了。

注:文章所涉及所有源数据和代码,已上传至github

https://github.com/seizeeveryday/DA-cases/tree/master/Comments

零基础学 Python,来这里

只需7天时间,跨进Python编程大门,已有3800+加入

【基础】0基础入门python,24小时有人快速解答问题;
【提高】40多个项目实战,老手可以从真实场景中学习python;
【直播】不定期直播项目案例讲解,手把手教你如何分析项目;
【分享】优质python学习资料分享,让你在最短时间获得有价值的学习资源;圈友优质资料或学习分享,会不时给予赞赏支持,希望每个优质圈友既能赚回加入费用,也能快速成长,并享受分享与帮助他人的乐趣。
【人脉】收获一群志同道合的朋友,并且都是python从业者
【价格】本着布道思想,只需 69元 加入一个能保证学习效果的良心圈子。

【赠予】后续圈主将开发python,0基础入门在线课程,免费送给圈友们,供巩固和系统化复习

(三重福利)最近入圈送大礼包:

1、2.7G、308份最新数据分析报告
2、40G 人工智能算法  视频课
3、Python爬虫课,共14课


更多精彩

在公众号后台对话框输入以下关键词

查看更多优质内容!

PM2.5 | 世界杯 | 惊喜 | 附书代码

觉得不错,请把这篇文章分享给你的朋友

转载 / 投稿请联系:data_circle_yoni

● 总结 Python 的4张超大思维导图,一定不要错过哦

● 知乎13万赞!为何很多名校毕业生,都输在了人生后半程

● 【连载】小白轻松学Python ---- 到底如何入门  Python?

● 怎么才能自学成 Python 大牛?这有些建议

● Python打牢基础,从22个语法开始!

● 手把手 | 爬取京东评论,且修改网址直接可复用哦(送代码)

● 为何“Python 之父” 力荐的小蓝书火了?

● Python实战 | 只需 ”三步“ 爬取二手iphone手机信息(转发送源码)

● 做数据分析不得不看的书有哪些?

● Python实战 | 手把手教你爬取豆瓣电影 Top 250

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值