本篇是量化系列 付费阅读,已经购买小册的不要看了。
我的小册: (小白零基础用Python量化股票分析小册),原价199,限时特价39,满100人涨10元
前面已经给大家讲了股票数据的爬取(如何用Python爬取创业板历史+实时股票数据!),基金也是类似的爬取。一般来说,我们都是交易ETF基金,就是可以在股票交易所买卖的那种基金,而不是基金公司或者天天基金网提供的基金。
因为ETF基金的交易方式类似股票,当时会比股票更有优势,这个具体我们就不展开讲,不然跑题了。言归正传,我们来爬取全部800多只ETF基金的数据。
1).打开东财的网站,点击基金,选择ETF市场
然后也是点鼠标右键/检查,查看网络,进行接口分析,我们需要通过爬虫爬取全部基金的代码编号,方便我们后面遍历获取。
打开Network,找到带有push字眼的链接,可以用上面的搜索工具,去搜这个关键字
右边这个request url 就是我们要的链接,点一下payload可以看到有856只基金。
下面就开始写代码,爬取全部ETF基金列表
我们把上面网页上分析得到url拷贝下来,然后给它构建一个times_tamp时间戳(长度为13的字符串整数),因为这个是动态的,所以实时构建一下,然后把拼装好的url 喂给spide_etf() 这个函数去请求,然后获得整个列表。
我们一般尝试5次,如果出错了就停5秒,然后继续再抓取,一旦成功就立刻返回列表内容。我们看一下输出的结果:
一共856只ETF基金数据,好获取了整个基金列表之后,我们只需要遍历就可以获得所有的基金的历史数据。
2).爬取每个基金的数据
这里我们可以讨一个巧,因为ETF基金跟股票一样,可以直接用我们上面访问股票的url链接格式进行请求历史数据,只需要换一个code就可以了。