东方财富龙虎榜数据爬取requests

最新推荐文章于 2022-09-05 15:06:52 发布

我比阳光都灿烂

最新推荐文章于 2022-09-05 15:06:52 发布

阅读量2.8k

点赞数 1

分类专栏：自动化文章标签： python

本文链接：https://blog.csdn.net/qq_39647804/article/details/120453031

版权

本文介绍了如何使用Python的requests库爬取东方财富网站的龙虎榜数据。通过观察网页网络请求，发现数据随页面变化，通过修改页面参数实现多页数据抓取。利用正则表达式处理抓取到的字符串，提取所需信息，最终将数据整理为DataFrame。文中还列举了常用的正则表达式函数，如match、search、findall等。

摘要由CSDN通过智能技术生成

先用开发者工具观察：

按F12，取观察翻页时候数据的变化：

在network中查看到，共3页，每页50行数据，然后去获取需要发送请求数据：

只需要改变页面数字，就可以获取到不同页面的数据，代码如下：

url = 'http://datacenter-web.eastmoney.com/api/data/v1/get?'
for page in range(1, 4):
    params = (
        ('callback', 'jQuery112305930880286224138_1632364981303'),
        ('sortColumns', 'NET_BUY_AMT,TRADE_DATE,SECURITY_CODE'),
        ('sortTypes', '-1,-1,1'),
        ('pageSize', '50'),
        ('pageNumber', str(page)),
        ('reportName', 'RPT_ORGANIZATION_TRADE_DETAILS'),
        ('columns', 'ALL'),
        ('source', 'WEB'),
        ('clientl', 'WE'),
        ('filter', "(TRADE_DATE>='2021-09-17')")
    )
    response = requests.get(url, params=params)
    text = response.text
    print(text)

得到的数据是一串带有脏数据的字符串：