量化分析师的Python日记[第5天：数据处理的瑞士军刀pandas]

第5天：数据处理的瑞士军刀pandas

一、Pandas介绍

终于写到了作者最想介绍，同时也是Python在数据处理方面功能最为强大的扩展模块了。在处理实际的金融数据时，一个条数据通常包含了多种类型的数据，例如，股票的代码是字符串，收盘价是浮点型，而成交量是整型等。在C++中可以实现为一个给定结构体作为单元的容器，如向量（vector，C++中的特定数据结构）。在Python中，pandas包含了高级的数据结构Series和DataFrame，使得在Python中处理数据变得非常方便、快速和简单。

pandas不同的版本之间存在一些不兼容性，为此，我们需要清楚使用的是哪一个版本的pandas。现在我们就查看一下量化实验室的pandas版本：

1

import pandas as pd

2

pd.__version__

查看全部

'0.14.1'

pandas主要的两个数据结构是Series和DataFrame，随后两节将介绍如何由其他类型的数据结构得到这两种数据结构，或者自行创建这两种数据结构，我们先导入它们以及相关模块：

1

import numpy as np

2

from pandas import Series, DataFrame

查看全部

####二、Pandas数据结构：Series

从一般意义上来讲，Series可以简单地被认为是一维的数组。Series和一维数组最主要的区别在于Series类型具有索引（index），可以和另一个编程中常见的数据结构哈希（Hash）联系起来。

#####2.1 创建Series

创建一个Series的基本格式是s = Series(data, index=index, name=name)，以下给出几个创建Series的例子。首先我们从数组创建Series：

1

a = np.random.randn(5)

2

print "a is an array:"

3

print a

4

s = Series(a)

5

print "s is a Series:"

6

print s

查看全部

a is an array:

[-1.24962807 -0.85316907 0.13032511 -0.19088881 0.40475505]s is a Series:0 -1.2496281 -0.8531692 0.1303253 -0.1908894 0.404755dtype: float64

可以在创建Series时添加index，并可使用Series.index查看具体的index。需要注意的一点是，当从数组创建Series时，若指定index，那么index长度要和data的长度一致：

1

s = Series(np.random.randn(5), index=['a', 'b', 'c', 'd', 'e'])

2

print s

3

s.index

查看全部

a 0.509906b -0.764549c 0.919338d -0.084712e 1.896407dtype: float64

Index([u'a', u'b', u'c', u'd', u'e'], dtype='object')

创建Series的另一个可选项是name，可指定Series的名称，可用Series.name访问。在随后的DataFrame中，每一列的列名在该列被单独取出来时就成了Series的名称：

1

s = Series(np.random.randn(5), index=['a', 'b', 'c', 'd', 'e'], name='my_series')

2

print s

3

print s.name

查看全部

a -1.898245b 0.172835c 0.779262d 0.289468e -0.947995Name: my_series, dtype: float64

my_series

Series还可以从字典（dict）创建：

1

d = {'a': 0., 'b': 1, 'c': 2}

2

print "d is a dict:"

3

print d

4

s = Series(d)

5

print "s is a Series:"

6

print s

查看全部

d is a dict:

{'a': 0.0, 'c': 2, 'b': 1}s is a Series:a 0b 1c 2dtype: float64

让我们来看看使用字典创建Series时指定index的情形（index长度不必和字典相同）：

1

Series(d, index=['b', 'c', 'd', 'a'])

查看全部

b 1c 2d NaNa 0dtype: float64

我们可以观察到两点：一是字典创建的Series，数据将按index的顺序重新排列；二是index长度可以和字典长度不一致，如果多了的话，pandas将自动为多余的index分配NaN（not a number，pandas中数据缺失的标准记号)，当然index少的话就截取部分的字典内容。

如果数据就是一个单一的变量，如数字4，那么Series将重复这个变量：

1

Series(4., index=['a', 'b', 'c', 'd', 'e'])

查看全部

a 4b 4c 4d 4e 4dtype: float64

#####2.2 Series数据的访问

访问Series数据可以和数组一样使用下标，也可以像字典一样使用索引，还可以使用一些条件过滤：

1

s = Series(np.random.randn(10),index=['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j'])

2

s[0]

查看全部

1.4328106520571824

1

s[:2]

查看全部

a 1.432811b 0.120681dtype: float64

1

s[[2,0,4]]

查看全部

c 0.578146a 1.432811e 1.327594dtype: float64

1

s[['e', 'i']]

查看全部

e 1.327594i -0.634347dtype: float64

1

s[s > 0.5]

查看全部

a 1.432811c 0.578146e 1.327594g 1.850783dtype: float64

1

'e' in s

查看全部

True

####三、Pandas数据结构：DataFrame

在使用DataFrame之前，我们说明一下DataFrame的特性。DataFrame是将数个Series按列合并而成的二维数据结构，每一列单独取出来是一个Series，这和SQL数据库中取出的数据是很类似的。所以，按列对一个DataFrame进行处理更为方便，用户在编程时注意培养按列构建数据的思维。DataFrame的优势在于可以方便地处理不同类型的列，因此，就不要考虑如何对一个全是浮点数的DataFrame求逆之类的问题了，处理这种问题还是把数据存成NumPy的matrix类型比较便利一些。

#####3.1 创建DataFrame

首先来看如何从字典创建DataFrame。DataFrame是一个二维的数据结构，是多个Series的集合体。我们先创建一个值是Series的字典，并转换为DataFrame：

1

d = {'one': Series([1., 2., 3.], index=['a', 'b', 'c']), 'two': Series([1., 2., 3., 4.], index=['a', 'b', 'c', 'd'])}

2

df = DataFrame(d)

3

print df

查看全部

one twoa 1 1b 2 2c 3 3d NaN 4

可以指定所需的行和列，若字典中不含有对应的元素，则置为NaN：

1

df = DataFrame(d, index=['r', 'd', 'a'], columns=['two', 'three'])

2

print df

查看全部

two threer NaN NaNd 4 NaNa 1 NaN

可以使用dataframe.index和dataframe.columns来查看DataFrame的行和列，dataframe.values则以数组的形式返回DataFrame的元素：

1

print "DataFrame index:"

2

print df.index

3

print "DataFrame columns:"

4

print df.columns

5

print "DataFrame values:"

6

print df.values

查看全部

DataFrame index:

Index([u'alpha', u'beta', u'gamma', u'delta', u'eta'], dtype='object')DataFrame columns:Index([u'a', u'b', u'c', u'd', u'e'], dtype='object')DataFrame values:[[ 0. 0. 0. 0. 0.] [ 1. 2. 3. 4. 5.] [ 2. 4. 6. 8. 10.] [ 3. 6. 9. 12. 15.] [ 4. 8. 12. 16. 20.]]

DataFrame也可以从值是数组的字典创建，但是各个数组的长度需要相同：

1

d = {'one': [1., 2., 3., 4.], 'two': [4., 3., 2., 1.]}

2

df = DataFrame(d, index=['a', 'b', 'c', 'd'])

3

print df

查看全部

one twoa 1 4b 2 3c 3 2d 4 1

值非数组时，没有这一限制，并且缺失值补成NaN：

1

d= [{'a': 1.6, 'b': 2}, {'a': 3, 'b': 6, 'c': 9}]

2

df = DataFrame(d)

3

print df

查看全部

a b c0 1.6 2 NaN1 3.0 6 9

在实际处理数据时，有时需要创建一个空的DataFrame，可以这么做：

1

df = DataFrame()

2

print df

查看全部

Empty DataFrameColumns: []Index: []

另一种创建DataFrame的方法十分有用，那就是使用concat函数基于Serie或者DataFrame创建一个DataFrame

1

a = Series(range(5))

2

b = Series(np.linspace(4, 20, 5))

3

df = pd.concat([a, b], axis=1)

4

print df

查看全部

0 10 0 41 1 82 2 123 3 164 4 20

其中的axis=1表示按列进行合并，axis=0表示按行合并，并且，Series都处理成一列，所以这里如果选axis=0的话，将得到一个10×1的DataFrame。下面这个例子展示了如何按行合并DataFrame成一个大的DataFrame：

1

df = DataFrame()

2

index = ['alpha', 'beta', 'gamma', 'delta', 'eta']

3

for i in range(5):

4

    a = DataFrame([np.linspace(i, 5*i, 5)], index=[index[i]])

5

    df = pd.concat([df, a], axis=0)

6

print df

查看全部

0 1 2 3 4alpha 0 0 0 0 0beta 1 2 3 4 5gamma 2 4 6 8 10delta 3 6 9 12 15eta 4 8 12 16 20

#####3.2 DataFrame数据的访问

首先，再次强调一下DataFrame是以列作为操作的基础的，全部操作都想象成先从DataFrame里取一列，再从这个Series取元素即可。可以用datafrae.column_name选取列，也可以使用dataframe[]操作选取列，我们可以马上发现前一种方法只能选取一列，而后一种方法可以选择多列。若DataFrame没有列名，[]可以使用非负整数，也就是“下标”选取列；若有列名，则必须使用列名选取，另外datafrae.column_name在没有列名的时候是无效的：

1

print df[1]

2

print type(df[1])

3

df.columns = ['a', 'b', 'c', 'd', 'e']

4

print df['b']

5

print type(df['b'])

6

print df.b

7

print type(df.b)

8

print df[['a', 'd']]

9

print type(df[['a', 'd']])

查看全部

alpha 0beta 2gamma 4delta 6eta 8Name: 1, dtype: float64

<class 'pandas.core.series.Series'>alpha 0beta 2gamma 4delta 6eta 8Name: b, dtype: float64<class 'pandas.core.series.Series'>alpha 0beta 2gamma 4delta 6eta 8Name: b, dtype: float64<class 'pandas.core.series.Series'> a dalpha 0 0beta 1 4gamma 2 8delta 3 12eta 4 16<class 'pandas.core.frame.DataFrame'>

以上代码使用了dataframe.columns为DataFrame赋列名，并且我们看到单独取一列出来，其数据结构显示的是Series，取两列及两列以上的结果仍然是DataFrame。访问特定的元素可以如Series一样使用下标或者是索引:

1

print df['b'][2]

2

print df['b']['gamma']

查看全部

4.0

4.0

若需要选取行，可以使用dataframe.iloc按下标选取，或者使用dataframe.loc按索引选取：

1

print df.iloc[1]

2

print df.loc['beta']

查看全部

a 1b 2c 3d 4e 5Name: beta, dtype: float64

a 1b 2c 3d 4e 5Name: beta, dtype: float64

选取行还可以使用切片的方式或者是布尔类型的向量：

1

print "Selecting by slices:"

2

print df[1:3]

3

bool_vec = [True, False, True, True, False]

4

print "Selecting by boolean vector:"

5

print df[bool_vec]

查看全部

Selecting by slices:

a b c d ebeta 1 2 3 4 5gamma 2 4 6 8 10Selecting by boolean vector: a b c d ealpha 0 0 0 0 0gamma 2 4 6 8 10delta 3 6 9 12 15

行列组合起来选取数据：

1

print df[['b', 'd']].iloc[[1, 3]]

2

print df.iloc[[1, 3]][['b', 'd']]

3

print df[['b', 'd']].loc[['beta', 'delta']]

4

print df.loc[['beta', 'delta']][['b', 'd']]

查看全部

b dbeta 2 4delta 6 12

b dbeta 2 4delta 6 12 b dbeta 2 4delta 6 12 b dbeta 2 4delta 6 12

如果不是需要访问特定行列，而只是某个特殊位置的元素的话，dataframe.at和dataframe.iat是最快的方式，它们分别用于使用索引和下标进行访问：

1

print df.iat[2, 3]

2

print df.at['gamma', 'd']

查看全部

8.0

8.0

dataframe.ix可以混合使用索引和下标进行访问，唯一需要注意的地方是行列内部需要一致，不可以同时使用索引和标签访问行或者列，不然的话，将会得到意外的结果：

1

print df.ix['gamma', 4]

2

print df.ix[['delta', 'gamma'], [1, 4]]

3

print df.ix[[1, 2], ['b', 'e']]

4

print "Unwanted result:"

5

print df.ix[['beta', 2], ['b', 'e']]

6

print df.ix[[1, 2], ['b', 4]]

查看全部

10.0

b edelta 6 15gamma 4 10 b ebeta 2 5gamma 4 10Unwanted result: b ebeta 2 52 NaN NaN b 4beta 2 NaNgamma 4 NaN

####参考文献

1. http://pandas.pydata.org/pandas-docs/version/0.14.1