如何用Python爬取全部800多只ETF基金数据!

本篇是量化系列 付费阅读,已经购买小册的不要看了。

我的小册: (小白零基础用Python量化股票分析小册),原价199,限时特价39,满100人涨10元

前面已经给大家讲了股票数据的爬取(如何用Python爬取创业板历史+实时股票数据!),基金也是类似的爬取。一般来说,我们都是交易ETF基金,就是可以在股票交易所买卖的那种基金,而不是基金公司或者天天基金网提供的基金。

因为ETF基金的交易方式类似股票,当时会比股票更有优势,这个具体我们就不展开讲,不然跑题了。言归正传,我们来爬取全部800多只ETF基金的数据。

1).打开东财的网站,点击基金,选择ETF市场

50d19ed97fb34ab316b1d64cd9e18852.png

然后也是点鼠标右键/检查,查看网络,进行接口分析,我们需要通过爬虫爬取全部基金的代码编号,方便我们后面遍历获取。

打开Network,找到带有push字眼的链接,可以用上面的搜索工具,去搜这个关键字

d8913bf0fe6b88880b64272a22e73e19.png

右边这个request url 就是我们要的链接,点一下payload可以看到有856只基金。

4099e5c944e473250ef329e66b8fb818.png

下面就开始写代码,爬取全部ETF基金列表

47d03bdbb2ab7a17b067e08674d24096.png

我们把上面网页上分析得到url拷贝下来,然后给它构建一个times_tamp时间戳(长度为13的字符串整数),因为这个是动态的,所以实时构建一下,然后把拼装好的url 喂给spide_etf() 这个函数去请求,然后获得整个列表。

311eb6ff426d30330d1868ddfb49b0a5.png

我们一般尝试5次,如果出错了就停5秒,然后继续再抓取,一旦成功就立刻返回列表内容。我们看一下输出的结果:

d5221cf9eb853181f93b2adf95aac2da.png

一共856只ETF基金数据,好获取了整个基金列表之后,我们只需要遍历就可以获得所有的基金的历史数据。

2).爬取每个基金的数据

这里我们可以讨一个巧,因为ETF基金跟股票一样,可以直接用我们上面访问股票的url链接格式进行请求历史数据,只需要换一个code就可以了。

  • 11
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值