淘宝反作弊系统的个人理解

#作弊规则
##一丶 反作弊部门情况
　　天猫品控部门：只查天猫，不查淘宝。监察范围：质检、抽检、品牌控、店铺异常情况(刷单、所有违规)，全部都管，可以店铺关店，店铺扣分，单品删除，单品降权。
　　反作弊部门：天猫、淘宝都查，只查单品，不查店铺。可以单品降权与删除，只记录宝贝ID的异常情况。

##二丶转化率异常
　　1丶 反作弊部门不查关键词(搜索关键词丶直通车)流量及转化
　　2丶 反作弊部门只查单品的整体流量及转化率
　　3丶 反作弊部门对淘宝客流量没有追踪权限，有壁垒。
　　4丶 不能A款引流，B款成交下单

##三丶宝贝浏览异常
　　1丶反作弊部门重点只查单品页面停留时间(绝对拒绝秒拍)
　　2丶反作弊部门不查货比三家
　　3丶反作弊部门不查其他宝贝浏览深度

##四丶快递单号异常
　　淘宝内部认定快递单号是绝不会重复的，具有庞大完善的系统监测。绝对杜绝重复单号。每一个单号都是独立的唯一的KEY

##五丶买家行为监控
　　1丶杜绝同一IP，不同旺旺，购买同一宝贝。
　　2丶杜绝同一IP，同一旺旺，反复购买同一宝贝。
　　3丶杜绝在淘宝黑名单库里的旺旺，购买宝贝。
　　4丶淘宝具有最强大的买家ID库。(可以追踪到每一个农村IP，所有网吧IP都被锁定为垃圾流量了)杜绝网吧刷单。

##六丶成交金额情况（杜绝红包，红包太复杂）
　　按付款时付款页面金额框里的金额为准，这是一个漏洞，小二原话。不看你是以什么样的付款方式，是实付金额+优惠券，还是实付金额+满就减。

#作弊系统的设计要点
##审核规则和流程设计

1. 相关的操作要纳入监控，大部分采用事后审核
2. 按照用户、店铺、商品进行汇聚
3. 规则分为二部分：自动拦截和手动审核规则，自动拦截根据平台总结出来的规则设置，出现对应的异常情况，直接拦截；针对达到可疑的规则，推送人工审核，人工介入，如果确实是异常情况，采取降级或者列入黑名单，同步搜索引擎或者推荐引擎进行用户降级，如果非异常，放过。
4. 定期总结对应的作弊模式，增加到自动拦截规则或者是手动审核规则中
5. 转化率和宝贝异常采用事后审核为好，针对快递单号异常，买家行为监控，成交金额情况进行实时拦截比较好
6. 根据店铺的要进行评分（其实就店铺等级），针对每一级的店铺，有一定的限度，超过限度要关注
7. 针对用户要进行评分（用户等级），针对每一级别的店铺，有一定的而限度，超过限度要关注

##基于传播网络反作弊

1. 根据白名单，看对应的成交关系，如果小于一定权重，列入作弊
2. 根据黑名单，看对应的成交关系，如果大于一定权重，列入作弊
3. 通过统计等手段分析正常的店铺、宝贝和ID应该具备哪些特征，如果不具备这些正常的特征，则被认为是作弊

#技术选型和关键部件

1. 缓存一定时间段的用户的操作做汇聚分析，这个选择redis
2. 规则的主体流程采用storm类似的处理结构
3. 具体业务处理采用规则引擎，建议采用drtools
4. 关系链管理，建议采用图数据库，一般基于传播的都是事后处置(关系数据库的图的存储和检索暂时没看到特别好的解决方案）
5. 统计建议将命中和处置的记录放在hbase上，方便分析

#相关文档

http://bbs.tao66.com/thread-3819-1-1.html 反作弊规则
http://www.tao-sou.com/809.html 淘宝搜索反作弊系统整体思路