多线程爬虫获取A股历史行情数据!股票量化分析工具QTYX-V2.2.3


前言

股票数据的获取是从事股票分析的第一步。

数据获取的途径有很多,对大家来说除了数据的质量以外,获取的效率是第二敏感的点。

市面上有一些股票数据服务平台提供了Python接口来获取数据。

总的来说,用于单个股票获取时候还是挺方便的,但是当我们的策略涉及到全市场的回测时,一下子下载4000多只股票耗时就非常久。

因为调用接口时,本质上是连接到这些平台的服务器上,所以获取数据时会有一些限制,比如tushare的积分限制,每次调用的频次和数据量都有一定的限制。

为了解决这个问题,我们再扩展一个数据源——网易财经!

关于网易财经获取数据的URL分析可参考知识星球《玩转股票量化交易》【1-19】主题。

为了加快A股股票数据的下载进度,我们用了多线程爬虫的方式,然后保存在本地使用。

于是我们升级了股票量化分析工具QTYX-V2.2.3。

我们对核心代码封装了一层GUI,提供给大家直接可用的“股票数据下载”工具,只要简单的操作就能下载到股票数据。

点击状态条的“行情”控件,即可启动!

这个功能非常关键,为后续全市场的选股比如RPS强势个股、走势线性回归等打下基础!


使用说明

接下来说说怎么使用吧!

首先要在QTYX\DatazFiles路径下创建一个文件夹,用于存储股票数据文件,每个股票一个csv文件。代码中变量data_path默认的是stock_history/,当然大家可以随意更改。

如果stock_history目录下已经存在csv格式的股票数据,那么工具会自动加载到界面中。双击股票文件名称后,股票数据就会在界面右边表格中显示。

数据内容包含收盘价、开盘价、最高价、最低价、成交量外,还包含了涨跌幅、换手率、总市值等等,还是比较丰富的。

三个按钮的功能如下:

  • “开始下载”:工具开始增量下载股票从上市至最新交易日的全部数据

  • “刷新文件”:目前预留,个人觉得是景上添花的功能,后续有需要再增加

  • “补全下载”:在使用过程中如果触及了网站反扒机制,可以把未下载成功的股票名单记录下来,手动方式二次下载。

下载过程中会有“进度条”提供进度:

下载完成后在“日志区”会统计下载的情况。

因为我本地已经有历史数据了,所以只更新了最近的三天数据。如果是第一次使用本工具,则会下载全部的股票数据。

日志上显示:共更新4368支股票,4368支股票增加数据,0支股票更新失败。共耗时515秒(每天花10分钟左右更新下数据,非常能接受了!)

如果有股票下载失败,我们可以等待一会再点击“补全下载”按钮进行二次下载。

存储了全市场的股票数据之后,针对于全市场的选股和回测就可以展开了!

视频演示

说明

1. 我们会把源码上传到知识星球《玩转股票量化交易》,帮助小伙伴们更好地掌握这个方法。

2. 近期加入知识星球可享【福利】送价格99的“Python量化场景编程技巧与方法”!微信call我获取!

【量化学习路线】【星球干货目录】可点击【阅读原文】查看。

元宵大师的量化交易书籍开售!!京东、当当、天猫有售!!

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
DevilYuan股票量化系统 简介 DevilYuan股票量化系统由python编写,支持python3.4+,有如下功能: 可视化(基于PyQT的界面) 多线程事件引擎 四大功能 股票数据 选股 策略回测 实盘交易 历史数据均免费来自于网络 Wind免费个人接口 TuShare 实盘微信提醒及交互 一键挂机 全自动交易 模拟交易,支持9个模拟账号 实盘和回测共用同一策略代码 实盘策略编写模板 选股策略编写模板 自动下载历史数据到MongoDB数据股票代码表 交易日数据 个股,指数和ETF历史线数据 个股和ETF历史分笔数据 集成基本的统计功能 实盘单账户多策略 运行后的界面 image 运行前的准备 支持的操作系统:Windows 7/8/10 安装Anaconda,python3.4+ 64位版本 安装MongoDB,并将MongoDB配置为系统服务 由于个股历史分笔数据比较大,建议配备1T以上的硬盘 MogonDB客户端 实盘交易现在支持的是银河证券,请安装对应的PC客户端 银河证券的客户端需要做如下配置,不然会导致下单时价格出错以及客户端超时锁定 系统设置 > 界面设置: 界面不操作超时时间设为 0 系统设置 > 交易设置: 默认买入价格/买入数量/卖出价格/卖出数量 都设置为 空 同时客户端不能最小化也不能处于精简模式 安装Wind个人免费Python接口 (可选) 若不安装Wind接口,股票代码表,交易日数据历史线数据将使用TuShare接口。TuShare这一块的数据更新速度比较慢。并且Wind的复权因子数据比较准确,建议安装Wind。但Wind的接口对数据流量有限制。 到Server酱注册一个SCKEY,这样实盘时的信号可以铃声通知 (可选) 安装Vistual Studio社区版,并勾选Python插件 (可选) 本项目是用VS2017开发的。你可以选择是用VS2017,或者用其他IDE 需要安装的Python包 tushare pymongo qdarkstyle pytesseract pywinauto talib,请到这儿安装对应的whl版本 aiohttp pyqrcode mpl_finance pip install https://github.com/matplotlib/mpl_finance/archive/master.zip pypng VS调试时报异常的包,不调试时不会报错,可选安装 datrie crypto gunicorn 运行 python DyMainWindow.py 运行后的步骤 配置DeviYuan系统 下载历史数据 写一个实盘策略
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值