手把手教你用python爬取人人贷网站借款人信息

P2P是近年来很热的一个行业，由于这个行业在国内兴起才不久，国内的很多学者对这个行业都兴趣盎然，在大学研究互联网金融的学者更是有一大群。小编是学金融出身，深知数据在做学术研究的重要性，之前有不少学互联网金融的同学、师弟师妹们都请教过我如何获取研究数据，小编当年论文的研究数据其实也是花了不少大洋在网上买的。最近有幸接触到python这个强大的工具，python的一个强大的功能就是进行数据发掘（俗称“爬虫”），原来爬虫并没有想象中的那么难，只要花点功夫学习一下你也可以，下面就让我手把手教你们如何在人人贷网站上爬虫借款人信息。

首先我们需要下载并安装python软件，windows版本下载地址，下载python 3.5以上的版本， 建议下载可以直接安装的包：Windows x86 executable installer，下载下来之后直接双击安装，安装的时候记得勾选Add python to path选项

,后面的按默认的选项安装即可。

由于人人贷中借款人的信息需要登录之后才可见，因此需要先注册一个人人贷的账号用于爬虫。本爬虫脚本调用的是Firefox浏览器，需要电脑先下载并安装Firefox浏览器，用Firefox爬虫需要下载相应的驱动，可以到下面的地址下载下载geckodriver，并将该文件放在python的安装目录python3.exe所在的目录。

该爬虫脚本还需要用到几个模块，需要使用pip来安装，首先确保pip在电脑的环境变量中，关于如何设置电脑的环境变量网上有很多相关的文章，可以自行去了解。按住 win+R键，输入cmd调用系统的DOS命令栏，然后用pip安装对应的python包，使用的命名格式如下：pip install “模块名”，如安装selenium模块，命令如下pip install selenium。采用这种方式分别安装selenium、pandas、bs4、requests、numpy模块。

用于爬虫的脚本如下，在电脑上新建一个文件夹，命名为人人贷数据爬虫，然后用记事本在里面新建一个文件，并将后缀名改为.py，如renrendai_scrapy.py ，copy如下的脚本到这个renrendai_scarpy.py文件夹中，代码写的比较烂，源代码如下：

# -*- coding: utf-8 -*-
"""
Created on Mon Aug 13 11:10:39 2018
@author: 95647
"""
from selenium import