金融爬虫python网贷_爬虫之爬取网贷之家在档P2P平台基本数据并存入数据库

最新推荐文章于 2022-07-27 21:19:17 发布
最新推荐文章于 2022-07-27 21:19:17 发布
阅读量831 收藏 3
点赞数
文章标签： 金融爬虫python网贷
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39717865/article/details/111454771
版权
本文介绍了如何使用Python爬虫抓取网贷之家的在档P2P平台基本数据，并将其存储到MySQL数据库中。通过requests库获取JSON数据，pymysql库连接数据库，创建表并执行插入操作。在过程中遇到的编码问题通过设置charset解决了，同时也强调了提交事务和关闭连接的重要性。
摘要由CSDN通过智能技术生成

python 版本 ：3.5.2

Jupyter Notebook

使用库：

reuqests (For human)

json (用来加载JSON数据)

datetime (用来记录抓取所花时间，也可以忽略)

pymysql (连接数据库，载入所爬取数据 )

1.用chrome浏览器打开网贷之家官网：http://www.wdzj.com  然后使用Chrome工具审查元素，勾选 Preserve log  然后刷新一次页面

2.找到 http://www.wdzj.com/wdzj/html/json/dangan_search.json  也就是说网贷之家将所收集在档的平台以JSON形式数据储放的，这下就很好办了，直接用抓取这个页面就ok

3.上简单粗暴的代码

1 1 #coding utf-8

2 2 importrequests3 3 importjson4 4 importdatetime5 5 importpymysql6 6 user_agent = 'User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)' #用来伪装用户身份

7 7 headers = {'User-Agent':user_agent}8 8 p2plist_url='http://www.wdzj.com/wdzj/html/json/dangan_search.json' #刚刚找到用来存放平台的JSON数据页面

9 9

最低0.47元/天 解锁文章
weixin_39717865
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
海量数据处理分析
DaiZiLiang的专栏
12-06 2万+
 海量数据处理分析 北京迈思奇科技有限公司 戴子良  笔者在实际工作中，有幸接触到海量的数据处理问题，对其进行处理是一项艰巨而复杂的任务。原因有以下几个方面：一、数据量过大，数据中什么情况都可能存在。如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，尤
python通过什么连接数据库_如何使用python连接数据库？
weixin_39730911的博客
11-20 404
数据分析离不开数据库，如何使用python连接数据库呢？听我娓娓道来哈该笔记参考了PyMySQL官方文档和《python数据采集》关于数据存储的部分，欢迎大家去阅读原著，相信会理解的更加透彻。补充：文末增加Oracle数据库的连接方式，大同小异。背景：我是在Anaconda notebook中进行连接实验的，环境Python3.6，当然也可以在Python Shell里面进行操作。最常用也最稳定的...
python创建mysql数据库_python 创建mysql数据库
weixin_39878989的博客
11-21 253
原博文2017-05-11 10:02 −昨天用shell脚本创建数据库，涉及java调用，比较折腾，改用python直接创建数据库，比较方便，好了，直接上代码，相关注释也添加了 # _*_encoding:UTF-8_*_import MySQLdb db_host = ''db_user = ''db_pw = ''db_name = ...相关推荐2019-12-12 17:41 −1、安装...
pythonmysql数据分析_Python操作MySQL数据库的两种方式实例分析【pymysql和pandas】
weixin_39875629的博客
11-24 312
本文实例讲述了Python操作MySQL数据库的两种方式。分享给大家供大家参考，具体如下：第一种 使用pymysql代码如下：import pymysql#打开数据库连接db=pymysql.connect(host='1.1.1.1',port=3306,user='root',passwd='123123',db='test',charset='utf8')cursor=db.cursor()...
python连接mysql_利用Python连接数据库mysql的几种姿态
weixin_39913648的博客
11-14 138
前言尽管很多 NoSQL 数据库近几年大放异彩，但是像 MySQL 这样的关系型数据库依然是互联网的主流数据库之一，每个学 Python 的都有必要学好一门数据库，不管你是做数据分析，还是网络爬虫，Web 开发、亦或是机器学习，你都离不开要和数据库打交道，而 MySQL 又是最流行的一种数据库，这篇文章介绍 Python 操作 MySQL 的几种方式，你可以在实际开发过程中根据实际情况合理选择。1...
【python爬虫】爬取网贷之家所有P2P平台基本数据并写入MYsql数据库
tywtan的博客
03-27 4622
使用的是python3做的一个爬虫，主要用于爬取网贷之家上面的数据。比较粗糙，很多该封装的地方没有进行封装。如果需要每天进行的话，还需要人工进行操作。后期会考虑挂靠服务器定时进行爬取，哈哈先这么搞，剩下的以后再说。import urllibimport requests #导入两个爬虫包，忘了是用哪个了，嘻嘻import re,time,pymysql #导入正则表达式、时间处理、mysql连接包...
Python3实现的爬虫爬取数据并存入mysql数据库操作示例
12-23
本文实例讲述了Python3实现的爬虫爬取数据并存入mysql数据库操作。分享给大家供大家参考，具体如下： 爬一个电脑客户端的订单。罗总推荐，抓包工具用的是HttpAnalyzerStdV7，与chrome自带的F12类似。客户端有接单...
Python爬虫进阶之多线程爬取数据并保存到数据库
12-21
今天刚看完崔大佬的《python3网络爬虫开发实战》，顿时觉得自己有行了，准备用appium登录QQ爬取列表中好友信息，接踵而来的是一步一步的坑，前期配置无数出错，安装之后连接也是好多错误，把这些错误解决之后，找APP...
用python爬取网贷之家p2p平台数据
starkbling的博客
08-28 7257
网贷之家中的p2p平台数据比较容易获取，重要的就是如何分析网页的源代码然后从里面提取自己需要的信息，也不需要用户登录，该网站的爬虫比较简单，这里就直接上源码了： # -*- coding: utf-8 -*- """ Created on Wed Aug 8 18:22:26 2018 @author: 95647 &
Python爬虫，爬去网贷黑名单数据
11-08
爬取网贷黑名单p2pblack的数据。
利用Mysql进行Python的数据分析
weixin_43551957的博客
01-16 384
一、mysql数据库的思想，以及操作流程 （1）、数据库是一种关系型数据库----‘关系’如何体现呢? 在Java语言或者其他计算机语言作为后台开发来讲，数据库的‘关系’体现在one to one many to one many to many(有中间表产生) one to many （2）、在python数据分析，人工智能技术领域不是以上理解，是将数据通过numpy pandas matplo...
Python可视化数据分析09、Pandas_MySQL读写
红目香薰
07-27 594
💝博客【红目香薰的博客_CSDN博客-计算机理论,2022年蓝桥杯,MySQL领域博主】💝✍本文由在下【红目香薰】原创，首发于CSDN✍🤗2022年最大愿望【服务百万技术人次】🤗💝Python初始环境地址【Python可视化数据分析01、python环境搭建】💝在Python中，最有名的ORM框架是SQLAlchemy。使用SQLAlchemy写入数据到数据库中的步骤如下导入SQLAlchemy模块的create_engine()函数和pandas()函数前置环境。......
python 处理大量数据_用Python简单批量处理数据
cpongo10的博客～
11-20 678
近期碰到一个问题，两套系统之间数据同步出了差错，事后才发现的，又不能将业务流程倒退，但是这么多数据手工处理量也太大了，于是决定用Python偷个小懒。1、首先分析数据。两边数据库字段的值都是一样，先将这边数据库的数据查询导出，正好是2列120多行的数据。那么目标就是拼接成update from_name set data= where id=格式，将导出内容中的第1列和第2列内容放到等号=后面即可...
网贷数据爬取及分析
qq_33886281的博客
01-23 1万+
关于数据来源本项目写于2017年七月初，主要使用Python爬取网贷之家以及人人贷的数据进行分析。 网贷之家是国内最大的P2P数据平台，人人贷国内排名前二十的P2P平台。 源码地址数据爬取抓包分析抓包工具主要使用chrome的开发者工具 网络一栏，网贷之家的数据全部是ajax返回json数据，而人人贷既有ajax返回数据也有html页面直接生成数据。请求实例 从数据中可以看到请求数据的方式（G
将MySQL中的select，和Python中的print对比一下，瞬间有意想不到的结果.....
数据分析与统计学之美
12-22 1995
将MySQL中的select，和Python中的print对比一下，瞬间有意想不到的结果.....
python 遍历的数据库数据量很大，处理方法
dengfeng1638205133的博客
02-28 736
python遍历的数据库数据量很大时，解决办法 参考链接，流式游标 https://blog.csdn.net/weixin_41287692/article/details/83545891 https://blog.csdn.net/weixin_41287692/article/details/83545891
python处理大量数据思路_Python大规模数据的处理技巧
weixin_39638647的博客
12-05 1961
目前在数据分析和挖掘领域内，最为热门的莫过于Python和R了，不过这两门语言一直因为不好处理大规模的数据而被人们调侃，同时，hadoop和spark也因此应运而生。然而，其实Python在大规模的数据处理上也并非像传言所说的那么慢。甚者，其中也蕴含了挺多的技巧让我们能够利用Python对大规模的数据进行分析计算。下面就Python操作大规模数据时可能会遇到的问题，给出一些个人的见解。问题一：大数...
Python大数据处理方案
热门推荐
大数据指北
03-26 3万+
Mysql SQLyog导入导出csv文件SQLyog 导出表中数据存为csv文件1.    选择数据库表 --> 右击属性 --> 备份/导出 --> 导出表数据作为 --> 选择cvs --> 选择下面的“更改” --> 字段 --> 可变长度--> 字段终止与 -->输入逗号，(这是重点，否则导出的csv文件内容都在一列中，而不是分字段分...
python爬虫金融数据_python爬虫项目-爬取雪球网金融数据（关注、持续更新）
最新发布
06-07
感谢您的提问。我理解您想了解如何用 Python 爬虫来爬取雪球网的金融数据。下面是一个简单的爬虫项目，可以帮助您实现这个目标： 1. 确定爬取的目标网页 我们需要确定要爬取的目标网页。在本例中，我们将使用雪球网的金融数据页面：https://xueqiu.com/hq。 2. 使用 requests 库发送 HTTP 请求 我们可以使用 Python 的 requests 库来发送 HTTP 请求并从目标网页获取数据。以下是如何发送 GET 请求的示例代码： ```python import requests url = 'https://xueqiu.com/hq' response = requests.get(url) print(response.text) ``` 3. 解析 HTML 页面 我们可以使用 Python 的 Beautiful Soup 库来解析 HTML 页面。以下是如何使用 Beautiful Soup 库解析响应的 HTML 页面的示例代码： ```python from bs4 import BeautifulSoup soup = BeautifulSoup(response.text, 'html.parser') # 打印解析后的 HTML 页面 print(soup.prettify()) ``` 4. 提取数据 一旦我们成功解析了 HTML 页面，就可以使用 Beautiful Soup 库中的一些方法来提取我们需要的数据。以下是如何从 HTML 页面中提取股票代码和股票名称的示例代码： ```python # 找到包含股票代码和名称的表格 table = soup.find('table', {'class': 'table'}) # 找到所有的行 rows = table.find_all('tr') # 遍历每一行，并提取股票代码和名称 for row in rows: cols = row.find_all('td') if len(cols) > 0: code = cols[0].text.strip() name = cols[1].text.strip() print(code, name) ``` 5. 存储数据 最后，我们可以将提取的数据存储到文件中。以下是如何将股票代码和名称存储到 CSV 文件中的示例代码： ```python import csv with open('stocks.csv', 'w', newline='') as csvfile: writer = csv.writer(csvfile) writer.writerow(['Code', 'Name']) for row in rows: cols = row.find_all('td') if len(cols) > 0: code = cols[0].text.strip() name = cols[1].text.strip() writer.writerow([code, name]) ``` 希望这个爬虫项目可以帮助您了解如何用 Python 爬虫来爬取雪球网的金融数据。如果您还有其他问题，请随时问我。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值