爬虫:爬东方财富网股票数据

本文介绍了如何爬取东方财富网的股票数据。通过页面分析,发现数据是通过jQuery动态加载,每次加载20条。通过观察不同页面的URL,发现pn参数用于表示页码。利用Python的for循环和正则表达式,可以获取每页数据并将其存储到Excel表格中。
摘要由CSDN通过智能技术生成

1.页面分析

       此次我们获取数据的网站是东方财富网!首先我们按F12打开开发者模式,对name里面的网页进行观察,找到数据存在的网页,发现数据是以jQuery加载进网页的,每次加载20个数据,如图:

 

      至此我们找到了单页网页的数据及地址,接下来我们继续打开第二页,找到每页之间的关系,整理后我们发现第一页的pn值等于1,第二页的pn值等于2:

 所以我们构建URL时,只需用for循环让params参数中的pn值变为可变动的值,那么这样的话我们都可以对里面的每一页发起请求进而获取他们的值,代码如下:

for page in range(1,50):
   params = (
       ('cb', 'jQuery1124031167968836399784_1615878909521'),
       ('pn', str(page)),
       ('pz', '20'),
       ('po
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值