Python爬虫 - 人人贷散标

前言

这次爬的网站 人人贷 - 散标 是一个客户要求爬的，数据一共是148w多条，不过后来发现有绝大部分是无效数据，也就是那个页面不存在，不过我看网上很多人爬这个网站都是用什么 BeautifulSoup、Selenium，首先 BeautifulSoup 提供 Cookie 应该是能爬，不过以前的页面和现在的页面有些不同，应该有点麻烦，我没试过；而 Selenium 可以直接放弃了，就一个原因，慢，你如果是爬几十个、几百个页面你也许能忍；我这次用的方法有些不同，不需要 Cookie，而且用 Scrapy 速度也挺快；（以下测试用到的网页都是 https://www.renrendai.com/loan-2996659.html）

正文

一、分析站点

在抓取每个网站前肯定是需要分析它的结构的，我随便点了一个最新的散标网页，如下图可见没登陆仅能显示一小部分信息

再看看其源码，毛都没有，只有登陆后才有内容，？

那可不一定哦，切换到 Network 然后刷新网页，从中获取返回的response，翻到最下面的 js 代码部分，大概400行处

可以看到有些js变量内容是unicode，然后还有用到了json解析方法，将这部分代码复制然后切换到 console 粘贴