您需要具备以下指示(以Python为例)
1、相关模块及应用原因
requests模块:用于想接口发送请求使用
multiprocessing模块:因为股票数量大单个循环发送请求效率太低,建议进行并发请求,并并发解析提高效率。
pandas模块:对返回数据进行一系列操作并存入excel使用
numpy模块:对返回数据进行结构和计算
建议使用
grequests模块:自带异步发起请求方法 内置了 requests和gevent
aiohttp模块:新的并发模块
2、数据来源
雪球APIhttps://github.com/uname-yang/pysnowballgithub.com
流程讲解
根据股票代码进行并发获取自己所需股票的各项详情,但是存在一个问题就是如果你想获取所有的股票行情,那么需要考虑如何获取已经上市的所有股票标识码,建议可以爬取东方财富网等网站的全量股票代码,定时进行更新,并用获取的股票唯一标识码发起请求,期中你提到了每一分钟到两分钟更新一次,建议可以使用linux或者win的定时器,比如linux的 corntab 都是可以实现的,这里面主要要掌握爬虫知识Python的相关知识,如果接口不稳定就需要自己写爬虫去爬取需要的信息数据源可以是综合类网站比如 东方财富网、雪球、新浪财经一类,不过建议前提看下每个网站的robot协议,以防止面向监狱编程,以下是雪球网的robots协议。https://xueqiu.com/robots.txtxueqiu.com
结语
如果需要学习上面相关方面的可以在网上搜索 《python3网络爬虫开发实战》这本书,pdf版的很多,讲的非常的全,如果想往细了学在单独某一条线路在进行搜索博客进行学习。