从页面读取数据每次都需要定位HTML标签,那么有没有更简洁的办法呢?
当然有,那就是找到页面数据的来源,分析哪些数据是我们想要的,直接通过WebAPI来获得数据。
我使用的是360极速浏览器,按F12后,再点“NetWork”,就可以看到页面加载的相关数据来源。
通过不断的更改日期,对比发现,上面两张图中红框部分就是页面数据产生变化的来源。
逐个点击红框中的链接,观察右侧返回的数据,判断对应页面上的区域。
经过分析,需要的数据在对应以下地址:
大盘涨跌数据:https://flash-api.xuangubao.cn/api/market_indicator/line?fields=rise_count,fall_count
涨停和跌停数据:https://flash-api.xuangubao.cn/api/market_indicator/line?fields=limit_up_count,limit_down_count
炸板率数据:https://flash-api.xuangubao.cn/api/market_indicator/line?fields=limit_up_broken_count,limit_up_broken_ratio
涨停个股列表:https://flash-api.xuangubao.cn/api/pool/detail?pool_name=limit_up
直接访问上面的地址,发现返回的数据是JSON格式,接下来就简单了,使用Python的JSON处理模块即可。
参考代码如下:
from selenium import webdriver
from _datetim