网贷数据爬取及分析

最新推荐文章于 2024-07-22 15:36:25 发布

qq_33886281

最新推荐文章于 2024-07-22 15:36:25 发布

阅读量1w

点赞数 8

文章标签： python 数据分析爬虫 p2p网贷互联网金融

本文链接：https://blog.csdn.net/qq_33886281/article/details/79145833

版权

本文介绍了使用Python爬虫抓取网贷之家和人人贷数据，并进行数据分析的过程。通过抓包分析，构造请求，使用requests库和BeautifulSoup解析数据。数据存储在MySQL后，使用numpy、pandas和matplotlib进行时间序列、地域和规模分布等分析，还涉及了Facebook Prophet库的趋势预测。数据可视化借助了海致BDP和Python库。

摘要由CSDN通过智能技术生成

关于数据来源

本项目写于2017年七月初，主要使用Python爬取网贷之家以及人人贷的数据进行分析。
网贷之家是国内最大的P2P数据平台，人人贷国内排名前二十的P2P平台。
源码地址

数据爬取

抓包分析

抓包工具主要使用chrome的开发者工具网络一栏，网贷之家的数据全部是ajax返回json数据，而人人贷既有ajax返回数据也有html页面直接生成数据。

请求实例

QQ截图20180123205633.png
从数据中可以看到请求数据的方式（GET或者POST），请求头以及请求参数。
QQ截图20180123205843.png
从请求数据中可以看到返回数据的格式（此例中为json）、数据结构以及具体数据。
注：这是现在网贷之家的API请求后台的接口，爬虫编写的时候与数据接口与如今的请求接口不一样，所以网贷之家的数据爬虫部分已无效。

构造请求

根据抓包分析得到的结果，构造请求。在本项目中，使用Python的 requests库模拟http请求
具体代码：

import requests
class SessionUtil():
    def __init__(self,headers=None,cookie=None):
        self.session=requests.Session()
        if headers is None:
            headersStr={
  "Accept":"application/json, text/javascript, */*; q=0.01",
                "X-Requested-With":"XMLHttpRequest",
                "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36",
                "Accept-Encoding":"gzip, deflate, sdch, br",
                "Accept-Language":"zh-CN,zh;q=0.8"
                }
            self.headers=headersStr
        else:
            self.headers=headers
        self.cookie=cookie
    //发送get请求
    def getReq(self,url):
        return self.session.get(url,headers=self.headers).text
    def addCookie(self,cookie):
        self.headers['cookie']=cookie
    //发送post请求
    def postReq(self,url,param):
        return self.session.post(url, param).text

在设置请求头的时候，关键字段只设置了”User-Agent”，网贷之家和人人贷的没有反爬措施，甚至不用设置”Referer”字段来防止跨域错误。

爬虫实例

以下是一个爬虫实例

import json
import time
from databaseUtil import DatabaseUtil
from sessionUtil import SessionUtil
from dictUtil import DictUtil
from logUtil import LogUtil
import traceback
def handleData(returnStr):
    jsonData=json.loads(returnStr)
    platData=jsonData.get('data').get('platOuterVo')
    return platData
def storeData(jsonOne,conn,cur,platId):
    actualCapital=jsonOne.get('actualCapital')
    aliasName=jsonOne.get('aliasName')
    association=jsonOne.get('association')
    associationDetail=jsonOne.get('associationDetail')
    autoBid=jsonOne.get('autoBid')
    autoBidCode=jsonOne.get('autoBidCode')
    bankCapital=jsonOne.get('bankCapital')
    bankFunds=jsonOne.get('bankFunds')
    bidSecurity=jsonOne.get('bidSecurity')
    bindingFlag=jsonOne.get('bindingFlag')
    businessType=jsonOne.get('businessType')
    companyName=jsonOne.get('companyName')
    credit=jsonOne.get(