pandas解析

1. pandas主要包括两种数据结构:Series和DataFrame

        Series是一种类似于一维数组的对象，它由一组数据以及一组与之相关的的数据标签组成。

import pandas as pd

obj = pd.Series([4,7,-5,3])

obj
Out[3]: 
0    4
1    7
2   -5
3    3
dtype: int64

        DataFrame是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型。它既有行索引也有列索引，可以看作是由Series组成的索引。

data={'state':['Ohio','Ohio','Ohio','Nevada','Nevada'],
      'year': [2000,2001,2002,2001,2002],
      'pop': [1.5,1.7,3.6,2.4,2.9]}
      

frame=pd.DataFrame(data)

frame
Out[6]: 
   pop   state  year
0  1.5    Ohio  2000
1  1.7    Ohio  2001
2  3.6    Ohio  2002
3  2.4  Nevada  2001
4  2.9  Nevada  2002

2. 基本功能

    相关系数和协方差：例子的数据来自于yahoo！Finance的股票价格和成交量。

   首先我们来获取数据：

from pandas_datareader import data as pdr

import datetime

import fix_yahoo_finance as yf

yf.pdr_override()

all_data={}

start=datetime.datetime(2010,1,1)

end = datetime.date.today()

price = pd.DataFrame({tic:data['Adj Close']
                for tic,data in all_data.items()})
                

price.tail()
Out[18]: 
                  AAPL         GOOG         IBM       MSFT
Date                                                      
2018-05-07  184.448746  1054.790039  141.647583  96.220001
2018-05-08  185.335327  1053.910034  141.430008  95.809998
2018-05-09  186.640305  1082.760010  142.610001  96.940002
2018-05-10  189.309998  1097.569946  144.240005  97.910004
2018-05-11  188.589996  1098.260010  144.139999  97.699997

volume = pd.DataFrame({tic:data['Volume']
                for tic,data in all_data.items()})
                

volume.tail()
Out[20]: 
                AAPL     GOOG      IBM      MSFT
Date                                            
2018-05-07  42451400  1466100  3657000  24242000
2018-05-08  28402800  1217700  5369100  23484600
2018-05-09  23211200  2032800  4196000  27327400
2018-05-10  27989300  1443000  3726600  22388100
2018-05-11  25806600  1201200  3069400  16745900

计算价格的百分数变化

returns = price.pct_change()

returns.tail()
Out[30]: 
                AAPL      GOOG       IBM      MSFT
Date                                              
2018-05-07  0.007235  0.006277 -0.004795  0.011139
2018-05-08  0.004807 -0.000834 -0.001536 -0.004261
2018-05-09  0.007041  0.027374  0.008343  0.011794
2018-05-10  0.014304  0.013678  0.011430  0.010006
2018-05-11 -0.003803  0.000629 -0.000693 -0.002145

使用corr计算相关系数和使用cov计算协方差

returns.MSFT.corr(returns.IBM)
Out[31]: 0.47950250217991136

returns.MSFT.cov(returns.IBM)
Out[32]: 8.241273703776968e-05

DataFrame的corr和cov方法将以DataFrame的形式返回完整的相关系数和协方差矩阵

returns.corr()
Out[33]: 
          AAPL      GOOG       IBM      MSFT
AAPL  1.000000  0.426565  0.360545  0.413081
GOOG  0.426565  1.000000  0.397492  0.505282
IBM   0.360545  0.397492  1.000000  0.479503
MSFT  0.413081  0.505282  0.479503  1.000000

returns.cov()
Out[34]: 
          AAPL      GOOG       IBM      MSFT
AAPL  0.000260  0.000105  0.000070  0.000095
GOOG  0.000105  0.000234  0.000073  0.000110
IBM   0.000070  0.000073  0.000145  0.000082
MSFT  0.000095  0.000110  0.000082  0.000204