kengxie的博客

前面已经提取了其它期货交易所的数据，最后还剩下郑商所。相比而言，郑商所的数据获取比其它几个交易所更麻烦一点。因为郑商所的系统接口有两个，在2015年11月11日前后发生了切换，这个日期之前是老系统的api接口，这个日期之后是一个新的api接口。具体的地址在哪里，还是依靠在浏览器中按F12来确定，最后发现的地址是： if trade_date > '20151111': czce_url = f'http://www.czce.com.cn/cn/DFSS

跟之前提到的其它交易所数据提取方式相似，首先在浏览器里按F12，提取访问API的地址和数据格式。可以看到中国金融期货交易所的api地址是：GET http://www.cffex.com.cn/sj/hqsj/rtj/202108/27/index.xml数据格式是xml的，数据片段如下：<dailydatas> <dailydata> <instrumentid>IC2109</instrumentid>

前文说了上海期货交易所的数据是json格式，非常容易用程序解析。这里再看看大连商品交易所的实现方式。还是按F12先从浏览器查看网络请求，大商所的页面采用的传统ajax方式，返回的是一个html子页面，然后客户端做局部刷新。请求地址是：POST http://www.dce.com.cn/publicweb/quotesdata/dayQuotesCh.htmlhtml的解析相对而言是实现最繁琐且执行效率最低的方式，应该尽量避免。进一步观察发现系统还提供了一个导出文本的接口，回应中包含的数据

国内目前5家期货交易所都在官网公开了各自期货品种的历史数据。从技术上，它们各自的实现方式都不相同。在抓取数据的时候，会用到解析json，解析xml，解析html和解析tsv这几种不同的方式。爬取这几家的数据对于学习网络爬虫特别是数据解析方法是一个很好的练习题目。这里先从上海期货交易所日统计数据开始。在浏览器按F12能看到，上海期货交易所的数据获取接口是：GET http://www.shfe.com.cn/data/dailydata/kx/kx20210826.dat返回的数据格式是json

找出现在市场上有哪些股票近期的波动突然加剧，看看有没有检漏的机会。具体采用的方式是比较收盘价的年/月/周标准差，将周/月标准差大于年标准差的股票筛选出来。首先把退市或者停牌的去除掉，ST的也不考虑，sql查询的时候就可以完成这一过滤：stock_basic_list = pd.read_sql_query( f"select ts_code from stock_basic where list_status = 'L' and name not like '%%ST%%' and lis

根据申万分类和日K线的数据，分组统计近期每天资金交易量最大的10个分类。在数据库里把交易量和交易金额的合计先算一下，做成view：CREATE VIEW `view_sw_industry_amount` AS SELECT `d`.`trade_date` AS `trade_date`, `c`.`sw1` AS `sw1`, `c`.`sw2` AS `sw2`, `c`.`sw3` AS `sw3`,

————————————————版权声明：本文为CSDN博主「南山二毛」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.csdn.net/qq_16481211/article/details/117636160

Tushare的申万行业分类接口需要2000分才能调用，分不够怎么办？自己写个爬虫吧。网上搜了一下，找到一个有对应数据的财经网站，就从这里爬取吧。先随便点一下翻页按钮，可以看出网页每次都有部分刷新，说明是ajax方式请求数据。按F12打开firefox浏览器的调试窗口，在“网络”页面上，查看XHR类型的请求。按数据大小排序：可以看到最上面两个请求的响应中都包含了期望的数据：仔细观察不难发现，第一个请求是第一次渲染表格时的后台请求，第二个请求是翻页时的后台请求。比较一下两个请求

数据用已经保存在数据库的日K线数据：def prepare(): df_daily = pd.read_sql_query( "SELECT * FROM tushare.view_qfq where ts_code='000001.SZ' and trade_date >= '20010101' order by trade_date", engine_ts) df_daily.index = pd.to_datetime(df_daily['

图形能帮助我们更直观的观察数据的变化。选BOLL和MACD这两个经典的指标绘制一下。前面已经把日k线和复权因子的数据都保存到本地数据库了，这里就直接从数据库取出来用。因为数据库保存的是未复权的价格，建一个view把前复权的价格算出来。CREATE ALGORITHM = UNDEFINED DEFINER = `tushare`@`localhost` SQL SECURITY DEFINERVIEW `view_qfq` AS SELECT

股市数据每天都在产生，当然就需要每天都进行更新。执行crontab -e添加一个每天晚上18:58定期执行的任务：58 18 * * * ~/sandbox/tushare_daily.sh 1>>~/sandbox/tushare.log 2>>~/sandbox/tushare.log日志就偷个懒，直接把控制台的输出重定向到文件。暂时先这样用着。因为工程是用conda管理的，bash脚本也用conda来管理环境。首先初始化conda本身，然后activate

根据官方文档的说明https://waditu.com/document/2?doc_id=27，获取日线行情有两种方式，一种是遍历股票代码，另一种是遍历交易日期。理论上讲，取得全量数据的时候遍历股票代码会更快，因为目前股票总数是4493，而交易日期已经有7450，遍历股票代码的循环次数会更少。但是因为我的积分太低，每次返回的数据上限是5000条，那么上市时间长的股票就需要查询两次。况且取增量数据的时候，肯定是按日期更好实现，所以最后决定还是就按交易日期的方式实现。按目前的积分，tushare允许每分钟

取得了股票列表，再取一个交易日历。同样从base类继承，然后实现_full和_delta两个方法。查看官方文档https://waditu.com/document/2?doc_id=26，发现这个api是按照交易所对数据进行分类的，目前先取得沪深两市的数据就够了。获取全量数据的时候，还是跟获取股票列表一样的思路，多次调用api，然后本地合并。 def _full(self, **kwargs): df_sse = pro.trade_cal(exchange='SS

在父类AbstractDataRetriever的基础上（见https://blog.csdn.net/kengxie/article/details/118086422），去获取tushare的数据就很简单了。实际需要实现的就是_full和_delta这两个抽象方法。它们的返回值都应该是dataframe，然后框架会把dataframe按append的方式写入数据库。class StockBasic(AbstractDataRetriever): def __init__(self):

环境搭建完成后 https://blog.csdn.net/kengxie/article/details/118084858，接着把沪深两市所有的股票基本信息获取到本地。

最近比较闲，决定自学一下量化投资的知识。本系列为个人学习记录。废话不多说，直接进入真题首先第一步是解决数据来源的问题，