基本概念:
1、特征提取通过对原始数据进行转换和变形,从原始数据中提取和创造出对预测欺诈有帮助的变量,而这些变量被统称为特征。
2、由于模型将直接使用特征,因此特征提取在很大程度上决定模型的预测能力。
3、在反欺诈建模过程中常用的特征提取的方式有如下常用的几种:
时间切片:同一个指标在不同的时间切片下的表现,以某个用户在当前平台的申请次数为例,通过时间切片可以提取出一些不同时间切片的特征:过去24小时申请次数,过去三天申请次数,过去一个月申请次数,等等。
特征交叉:特征交叉是只对两个可能有关联的基础特征进行交叉,从而得到交叉后的特征:比如是否同时申请贷款产品A和贷款产品B,工作地在一线城市且收入低于平均收入,等等。
网络特征:网络特征值得是利用基础数据构建复杂关系网络,然后基于复杂关系网络进行特征提取,如一度联系人,二度联系人,以及是否数据同一个社团,当前所属社团规模等等。
特征提取主要是在当前基础数据的基础上,提取出可能对后续模型建模有用的新特征,至于提取出来的特征是否有效,建模阶段可以进行特征评估,然后筛选出有用的特征用于后续的建模。
特征的设计模式:
-
分数据源
通讯录
通话记录
profile
设备信息
…
-
分类型
社交类型:父母、配偶、亲属、朋友、陌生人
手机型号:安卓、苹果
订单:申请通过、申请未通过、逾期、未逾期
…
-
统计
总和、总次数、占比、最大值、最小值、均值、中位数、分位数
-
描述
例如:工作所在省市、户籍所在省市、年龄、性别、职业; 手机的品牌、手机的型号、是否root、手机号的归属地
-
时间窗口:
设置时间窗口,例如:近一周、近1个月、近两个月、近三个月、近半年。。
区分工作日和休息日,例如:工作日期、节假日
区分工作时段和休息时段,例如:白天、凌晨
-
倒排
全库称呼倒排来衍生是否是中介,sp通话倒排来衍生一度联系人(社交圈)、deviceID倒排来衍生异常设备
-
交叉验证
例如:用户授权的手机号与银行预留手机号是否一致、用户的通话信息与手机的通讯录是否一致、用户的通话信息与紧急联系人是否匹配
总结:
1、单一数据源:数据源、分类型、分时间段、统计、描述(以上5个层次通过笛卡尔积来批量产生特征)
2、不同数据源:交叉验证
3、倒排衍生风险名单(同一度联系人列表、同deviceID列表、同profile列表)