从Tushare获取历史行情数据,分为两种,一种是后复权(daily_hfq)数据,一种是不复权(daily)数据,获取到的数据存储在MongoDB数据库中,每个集合(collection)中,数据字段包含如下:
抓取指数历史行情
流程图如下
首先准备好数据库的连接,可查看python对MongoDB数据库的操作,这里在database文件中创建了对MongoDB数据的连接及指定存储的数据库
datebase.py文件
from pymongo import MongoClient
#指定数据库的连接,quant_01是数据库名
DB_CONN = MongoClient('mongodb://127.0.0.1:27017')['quant_01']
在daily_crawler.py文件中完成初始化、数据的获取、储存等操作。
import tushare as ts
from database import DB_CONN
from datetime import datetime
from pymongo import UpdateOne
class DailyCrawler:
def __init__(self):
#创建daily数据集(集合)
self.daily = DB_CONN['daily']
#创建daily_hfq数据集(集合)
self.daily_hfq = DB_CONN['dai