做过p2p的人都知道,我们在给用户授信评额时都会采集用户的个人信息。一般公司都会采集网银,运营商,社保等。现在我着重说运营商采集是怎么实现的,其他类似。
一、授信过程
运营商采集分布式爬虫主要分为3大块 如图
1、API/H5是用户授权入口,有任务创建,任务状态查询,任务验证码输入,任务结果查询,手机号归属地查询等。
2、调度,任务创建之后会经过调度会计算出采集入口。每个省份运营商有不同入口如移动有,移动营业厅,移动商城,移动app,10086等入口。关于调度还有很多职责不一一列举。
3、采集,采集是整个项目的重中之重,也是维护比较频繁的项目,随着运营商改版必须进行相应的维护。
运营商主要采集如下内容:
用户基本信息,
用户套餐信息,
通话记录,
缴费账单等。
如有什么问题不对请随时联系我 V 15123957473 欢迎技术交流,其他合作
所采集的字段如下:
{
“mobile”: “string”,
“code”: “int”,
“message”: “string”,
“name”: “string”,
“idcard”: “string”,
“carrier”: “string”,
“province”: “string”,
“city”: “string”,