爬虫基础篇之多途径抓取失信人名单

需求

继爬虫基础篇之Scrapy抓取京东之后，我们对scrapy有了一定的掌握，接下来通过多渠道汇总对失信人信息抓取入库。

1. 抓取百度失信人名单
2. 抓取最高人民法院失信人名单
3. 抓取国家企业信用公示系统失信人公告
4. 把上面三个来源的失信人信息进行合并,去重

目标

百度

• 搜索失信人名单

• 抓取数据: 失信人名称, 失信人号码,法人(企业), 年龄(企业的年龄为0), 区域,失信内容, 公布日期, 公布执行单位, 创建日期, 更新日期

企业信用信息公示系统

• 访问http://www.gsxt.gov.cn/corp-query-entprise-info-xxgg-100000.html
• 抓取: 失信人名称, 失信人号码, 年龄(企业的年龄为0), 区域, 失信内容, 公布日期, 公布单位, 类型(个人/企业), 创建日期, 更新日期

实现

• 把抓取的数据, 统一存储到同一个数据库的, 同一张表中.