![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
FireCoder
这个作者很懒,什么都没留下…
展开
-
大数据风控实践 - 反欺诈之设备指纹
很多人看见指纹两个字,认为是有特定的设备仪器来采集,类似人的指纹。设备指纹里的指纹换成ID(唯一标识)更合适。强ID-手机出厂/使用自带的唯一标识设备指纹-弱特征生成唯一标识设备指纹生成在git上搜索device fingerprint 能找到不少开源项目,比如clientjs中设备指纹代码: getFingerprint: functio...原创 2020-02-06 09:56:49 · 1368 阅读 · 0 评论 -
spark sql concat_ws 实现有序
spark(hive) sql中的concat_ws 有两个易出错的地方无序 忽略Nullconcat_ws 有序下面示例生成用户的行为序列,按时间有序方法一:使用 window partition+ row_numberSELECT * FROM ( SELECT user_id , concat_ws(' ', c...原创 2020-02-02 17:05:40 · 3547 阅读 · 0 评论 -
hive 查看历史job的执行sql
问题线上hadoop有个hivesql执行较耗时,1hour 8min;收到运维预警定位查找job history 页面http://node:8088/cluster/app/application_xxxx_xxhttp://node:8088/proxy/application_xxxx_xxhttp://node:19888/jobhistory/jo...原创 2020-02-01 14:41:14 · 4020 阅读 · 0 评论 -
大数据风控实践
风险管理框架大数据风控实践课程第1章 概述1.1 大数据风控框架第2章 反欺诈2.1 身份核验与黑名单 2.2 设备指纹(代码) 2.3 关联风险评分(代码) 2.4 社区发现(代码)第3章 评分卡3.1 单特征bad rate (代码) 3.2 数值特征 Binning (代码) 3.3 特征交叉 Feature Crossing (代码) 3.4 ...原创 2020-01-26 14:06:10 · 486 阅读 · 0 评论