Python金融大数据分析——Pandas库

一、DataFrame类

DataFrame是一种提供了列标签以及数据集中各行的索引功能，这些数据和来自SQL数据库表或Excel电子表格中工作表的数据相似

import pandas as pd

df=pd.DataFrame([10,20,30,40],columns=['number'],index=['a','b','c','d'])

以上是创建DataFrame对象的过程，特别指定了索引值和标签。这个例子体现了DataFrame在储存数据时数据本身可以用不同组成及类型（列表、元组、ndarray和字典对象等）；数据以列的方式被组织，列名可自定义；索引的格式可以不同（数值、字符串、时间信息等）。因此，考虑到其总体上特点，在扩大现有对象等工作时刻考虑使用DataFrame。接下来介绍DataFrame的典型操作：

df.index
df.columns
df.loc['c']
df'loc[['a','b']]
df.iloc[1:3] #索引位置2、3行的数据

df.sum()
df.apply(lambda x: x**2) #向量化方式计算平方值
df**2 #类似ndarray对象直接应用向量化

df['price']=(1.5,2.5,3.5,4.5)
df['names']=pd.DataFrame(['Bean','Corn','Coal','Oil'])

df.append({'numbers':50,'price':7.0,'names':'apples'},index=['y',])
df=df.append({'numbers':60},index=['z',]) #填充不完整的数据

值得注意的是，即使DataFrame中存在遗漏的值，大部分方法调用仍可以正常使用，接下里进一步探究时间序列数据的更多功能

import numpy as np
np.random.seed(100)
a=np.random.standard_normal((9,4)) #生成标准正态分布随机数
df=pd.DataFrame(a,columns=['x','y','z','w'])

df.columns=['No1','No2','No3','No4']
df['No2'].mean()
df>0 #应用在整个DataFrame对象上的布尔运算
df['x']<0.5 #得到布尔型series数据
df[df['x']<0.5] #得原数据组的部分

上述例子展现了如何通过随机的dnarray列构造DataFrame的数据，因此pandas保留基本结构，只添加元信息。除此之外，pandas的另一优势在于可以很方便地生成时间索引对象dates。

dates=pd.date_range('2019-1-1',periods=9,freq='M')
##date_range()参数：start\end\periods\freq\name
##freq->B\C\D\W\M\Q\A\H\T\S
df.index=dates

df.values
df.array(df)

下方代码表示从DataFrame到ndarray数据的转变，反方向可以用DataFrame函数。

1.1基于DataFrame的基本操作

一般而言，在NumPy通用函数适用于ndarray对象则可以将这些函数应用到DataFrame对象，即使运算过程中存在不完整数据集，pandas也可以放入NaN值继续运算，接下来介绍几个内建方法。

df.info() #提供关于数据、列和索引的元信息
df.describe() #每列汇总统计信息（平均、最大小值、标准差等）
df.head()
df.tail()

df.sum()
df.mean() #axis=0行求和 axis=1列求和
df.cumsum()

#用NumPy通用函数
np.sqrt(abs(df)).sum()

基本可视化

from pylab import plt,mpl
plt.style.use('seaborn')#定制绘图样式
mpl.rcParams['font.family']='serif'

df.cumsum.plot(lw=2.0,figsize=(10,6))

plot.bar() #绘制柱状图

以上为利用简单plot（）函数绘图的方法，事实上pandas自带的matplotlib也可以绘图，具体内容在未来的章节中再讨论。

联接、连接和合并

联接（Concatenation）是指将一个DataFrame对象中的行添加到另一个DataFrame对象

df1.append(df2,ignore_index=True,sort=False)
#将df2作为新行添加到df1下，ignore_index表示展示时是否保留标签
pd.concat((df1,df2),sort=False)

连接是指默认第一个DataFrame对象的索引值

df1.join(df2,how='left') #保留df1索引

df1.join(df2,how='right') #保留df2索引

df1.join(df2,how='inner') #保留相同索引

df1.join(df2,how='outer') #保留全部索引

df=pd.DataFrame({'A':df1['A'],'B':df2['B']}) #和outer相同

合并是指在两个数据集共享的某列上进行，即只保留有该列中共有的索引值，不展开。

二、series类

series类只有一列数据，因此他可以看作DataFrame类的特例。例如前面示例中提到的布尔运算所得结果就是布尔型series数据。

S=pd.Series(np.linspace(0,15,7),name='series')
s=df['No1']

s.mean()#DataFrame方法也适用于series

series类可以很好地体现pandas强大而灵活的分组功能

df['Quarter']=['Q1','Q2','Q2','Q3','Q3','Q3']#给数据增加一维分类指标
groups=df.groupby('Quarter')
df['Odd_Even']=['Odd','Even','Odd','Even','Odd','Even']#第二维分类指标

#以下操作的结果将以每组为单位展示
groups.size()
groups.mean()
groups.max()
groups.aggregate([min,max]) #给出每组最小最大值
groups.aggregate([sum,np.mean]) #展示每组求和和平均值

本文为个人学习《Python金融大数据分析》一文所得，若有不妥谬误之处还望温和批评指正。