股票量化交易-获取数据的N种方法

最新推荐文章于 2025-03-08 10:35:42 发布

量化密码库

最新推荐文章于 2025-03-08 10:35:42 发布

阅读量1.2w

点赞数 10

分类专栏：量化交易文章标签：股票数据

原文链接：https://www.myquant.cn/community/

版权

量化交易专栏收录该内容

313 篇文章

订阅专栏

来源：萧遥量化

作者： sally

在上一篇的基础上再分享两个量化股票需要的数据资源。

通过python第三方库pytdx获取

这是个很强大的第三方库，原理是解析通达信的.dat底层数据。没错，我说的就是老少皆宜，平时看盘下单的通达信软件。现在只需要在python里面安装第三方库，就可以获取到原始交易数据了。

获取行情数据的代码是这样的，返回数据可以是list格式，也可以是dataframe格式。

from pytdx.hq import
TdxHq_APIapi = TdxHq_API()
# 数据获取接口一般返回list结构，如果需要转化为pandas Dataframe接口，可以使用 api.to_df 进行转化
with api.connect('119.147.212.81', 7709):    
# 返回普通list    
    data = api.get_security_bars(9, 0, '000001', 0, 10)         print(data)    
# 返回DataFrame    
    data = api.to_df(api.get_security_bars(9, 0, '000001',      0, 800))    print(data)

返回数据如下：

除了行情数据，还可以获得财务数据

from pytdx.crawler.history_financial_crawler import HistoryFinancialListCrawler
crawler = HistoryFinancialListCrawler()
list_data = crawler.fetch_and_parse()
print(pd.DataFrame(data=list_data))

运行上面的程序可以得到下面的结果，这些zip文件就是当季所有股票的财务数据。我们可以看到最新的财务数据已经更新到2019年6月30日。

除了行情数据，还可以获得财务数据

from pytdx.crawler.history_financial_crawler import HistoryFinancialListCrawler
crawler = HistoryFinancialListCrawler()
list_data = crawler.fetch_and_parse()
print(pd.DataFrame(data=list_data))

运行上面的程序可以得到下面的结果，这些zip文件就是当季所有股票的财务数据。我们可以看到最新的财务数据已经更新到2019年6月30日。

下面我们来查看一下最近一个财务周期的数据是怎样的。

from pytdx.reader import HistoryFinancialReader
import pandas as pd
pd.set_option('display.max_columns', None)

print(HistoryFinancialReader().get_df('C://zd_axzq//vipdoc//cw//gpcw20190630.zip'))

注意这里获取数据的地址是需要你自己电脑上通达信的安装目录，如果找不到这个目录呢，可以在浏览器里面搜索gpcw20190630.zip这个文件就能找到了

运行上面的代码后可以得到如下的数据，左边的code就是股票代码，右边col001-col300是财务数据，具体每个编号对应哪个财务数据，请查看这里https://github.com/QUANTAXIS/QUANTAXIS/blob/master/QUANTAXIS/QAData/financial_mean.py

从腾讯网站获取历史数据

获取数据的网址是这个：http://web.ifzq.gtimg.cn/appstock/app/fqkline/get?_var=kline_dayqfq&param=sz000001,day,,,50,qfq&r=0.5643184591626897

其中需要输入几个参数，股票代码，数据的周期（年，月，周，日）

from urllib.request import urlopen
import json
from random import randint
import pandas as pd
pd.set_option('expand_frame_repr', False)
pd.set_option('display.max_rows', 5000)


# =====创建随机数的函数
def _random(n=16):
    """
    创建一个n位的随机整数
    :param n:
    :return:
    """
    start = 10**(n-1)
    end = (10**n)-1

    return str(randint(start, end))

stock_code = 'sz000001'  
type = 'day'  # day, week, month分别对用日线、周线、月线
num = 640  # 股票最多不能超过640，指数、etf等没有限制

# 构建url
url = 'http://web.ifzq.gtimg.cn/appstock/app/fqkline/get?_var=kline_%sqfq&param=%s,%s,,,%s,qfq&r=0.%s'
url = url % (k_type, stock_code, k_type, num, _random())
content = urlopen(url).read().decode()  
content = content.split('=', maxsplit=1)[-1]
content = json.loads(content)
data = content['data'][stock_code]
if type in data:    
data = data[type]
elif 'qfq' + type in data:  # qfq是前复权的缩写    
data = data['qfq' + type]
else:    
raise ValueError('已知的key在dict中均不存在，请检查数据')
df = pd.DataFrame(data)
print(df)

运行代码后获得的数据如下：

其中0: 'candle_end_time', 1: 'open', 2: 'close', 3: 'high', 4: 'low', 5: 'amount'

复权处理

上面两种方法得到的数据都是未经过复权处理的，那么我们怎样得到复权的数据呢？

我们可以通过计算复权因子来得到复权数据，具体方法如下代码。

import pandas as pd
pd.set_option('expand_frame_repr', False)
pd.set_option('display.max_rows', 5000)

# 导入数据
path = 'D:/sz000001.csv'
df = pd.read_csv(path, encoding='gbk', skiprows=1)

# 计算复权涨跌幅
df['涨跌幅'] = df['收盘价'] / df['前收盘价'] - 1

# 计算复权因子
df['复权因子'] = (1 + df['涨跌幅']).cumprod()

# 计算前复权价
df['收盘价_复权'] = df['复权因子'] * (df.iloc[-1]['收盘价'] / df.iloc[-1]['复权因子'])

# 计算后复权价
df['收盘价_复权'] = df['复权因子'] * (df.iloc[0]['收盘价'] / df.iloc[0]['复权因子'])

# 计算复权后的开盘价、最高价、最低价
df['开盘价_复权'] = df['开盘价'] / df['收盘价'] * df['收盘价_复权']
df['最高价_复权'] = df['最高价'] / df['收盘价'] * df['收盘价_复权']
df['最低价_复权'] = df['最低价'] / df['收盘价'] * df['收盘价_复权']

tushare获取数据

tushare上有丰富的交易数据，财务数据。安装也十分简单，pip install tushare就可以了。https://tushare.pro/

下面示例一下历史交易数据和财务数据的获取

pro = ts.pro_api()
df = ts.pro_bar(ts_code='300024.SZ', adj='qfq', start_date='20180101', end_date='20190920')
print(df)

这是获取股票300024从2018年1月1号到2019年9月20号的所有前复权数据的代码。运行后返回的数据如下。

下面是获取财务指标数据的代码

pro = ts.pro_api()
df = pro.fina_indicator(ts_code='300024.SZ')
print(df)

运行后返回dataframe格式数据，非常方便调取我们需要的列数据。比如我们要调取EPS数据，只需要这样写就可以了print (df['eps'])

掘金量化API

掘金量化是一个在线量化平台，目前推出了可以在本地使用的数据API接口，这个平台类似于聚宽，优矿，可以在线写策略并回测。亮点在于，这个平台支持本地IDE编辑策略，也就是说策略编写是存放在本地而不是在平台的云端，这样可以避免策略泄露。

这是掘金API说明书https://www.myquant.cn/docs/python/73?

具体加载数据和回测仔细看看说明就可以了解。