从零开始搭建量化投资分析平台之二——从搭建量化投资数据库开始（2）

https://blog.csdn.net/jianlinyuan9738/article/details/80149428

上一节我们已经得到了一个比较完整的数据库，但是这个数据库并不适用于量化投资的研究，这是为什么呢？

1）数据并没有经过清洗，比如还有一些"None"、“--”数据，会在后续模型搭建中影响正常的矩阵运算。

2）当前数据存储的方式并不适合量化分析。如图所示，金融数据是个三维数据，时间维度代表每个交易日，个股维度代表每只股票，指标维度代表每个具体的指标（如日涨跌幅、成交量、换手率、总资产、ROE等）。真正适合量化投资平台的数据存储方式是以时间和个股建立table，然后每个指标分别为一个table。原因有二：

a）量化投资分析的所需要使用数据的股票数量往往有上千只，交易日也往往也有上千个，而指标只有几十个，以指标为单位读取table效率更高。

b）单次量化分析所需要的指标数量往往有限，以Fama-French（1993）三因子模型为例，只需要用到beta，size，value，日收益率等极少数指标，因此这样做有利于最大限度地减少运算冗余，从而提升运算效率。

而我们得到的数据是这种形式：

而我们需要的是这种形式：

3）维度不统一。即历史行情数据是每日的数据而财务数据是季度数据，我们需要把财务数据变成每日的数据，即当日的财务数据等于当日最新发布财报的数据。

5）未来信息问题。比如年报的报告期为每年的十二月三十一日，但是年报往往要到第二年3月到4月才能公布，因此我们需要对数据进行调整，消除未来信息的影响。

本节主要解决前两个问题。二话不说，直接上代码

    # -*- coding: utf-8 -*-
    """
    Created on Mon Mar 12 17:32:18 2018
    """
    import os
    import pandas as pd
     
    class gen_matrix(object):
        def __init__ (self):
            self.path = 'D:\\database\\history_data\\'
            self.factor=['close','high','low','open','close_yesterday','daily_zdf','daily_return','turnover_pct','turnover','turnover_vol','ev','ev_free_float']
        #转换为时间个股维度的数据形式    
        def gen_data(self):
            result=[]
            for i in range(2,14):
                result.append(pd.DataFrame())
            file_list=os.listdir(self.path+'shares')
            
            for file in file_list:
                try:
                    data=pd.read_csv(self.path+'shares\\'+file,index_col=0,encoding='GB18030')
                    c=list(data.columns)
                    for col in range(2,14):
                        d=data.loc[data.index>'2010-01-01',c[col]].rename(file[0:9])
                        if d.dtype=='O':
                            d[d=='None']=0
                            d=d.astype('float64')
                        
                        result[col-2]=pd.concat([result[col-2],d],axis=1)
                    print(file)
                except:
                    print(file,'error')
            for i in range(2,14):#输出成csv
                result[i-2].to_csv(self.path+'matrix\\'+self.factor[i-2]+'.csv',encoding='GB18030')
                print(i-2, result[i-2])
            return 0
        #输出股价后复权数据（以2010年第一个交易日为起点后复权）
        def gen_houfuquan(self):
            result=pd.DataFrame()
            file_list=os.listdir(self.path+'trading')
            for file in file_list:
                data=pd.read_csv(self.path+'trading\\'+file,index_col=0,encoding='GB18030').sort_index(ascending=True)
                data=data[data.index>'2010-01-01']
                price=(data['涨跌幅'].rename(file[0:9]))
                price[price=='None' ]=0
                price=price.astype('float64')
                price=(price/100+1).cumprod()
                start_price=data.iloc[0,6].astype('float64')
                price=price*start_price
                result=pd.concat([result,price])
                print(file)
            result.to_csv(self.path+'matrix\\close_houfuquan.csv',encoding='GB18030')
            return 0
        #前复权，以最近一个交易日为起点前复权
        def qianfuquan(self):
            result=pd.DataFrame()
            file_list=os.listdir(self.path+'shares')
            for file in file_list:
                data=pd.read_csv(self.path+'shares\\'+file,index_col=0,encoding='GB18030').sort_index(ascending=True)
                data=data[data.index>'2010-01-01']
                price=(data['涨跌幅'].rename(file[0:9]))
                price[price=='None' ]=0
                price=price.astype('float64')
                last_ret=price[-1]/100+1
                price=(price/100+1).cumprod()
                start_price=(data.iloc[-1,6].astype('float64')*last_ret)/price[-1]
                price=price*start_price
                result=pd.concat([result,price])
                print(file)
            result.to_csv(self.path+'matrix\\close_qianfuquan.csv',encoding='GB18030')
            return 0  

最输出是以下的形式：

 

---------------------
作者：不吃番茄
来源：CSDN
原文：https://blog.csdn.net/jianlinyuan9738/article/details/80149428
版权声明：本文为博主原创文章，转载请附上博文链接！