10分钟入门pandas

10分钟入门pandas

教程译自10 Minutes to pandas

目录

• 创建对象
• 数据视图
• 数据选取
• 数据缺失的处理
• 函数操作
• 数据合并
• 分组
• 数据变形
• 时间序列
• 数据标签
• 绘图
• 导入导出数据
  import numpy as np
  import pandas as pd
  import matplotlib.pyplot as plt

创建对象

返回目录
传入数据列表创建Series对象
s = pd.Series([1,3,5,np.nan,6,8])
s
创建DataFrame对象
通过时间索引，自定义标签列名，和numpy的array数据来创建DataFrame对象
dates = pd.date_range(‘20130101’, periods=6)
dates
df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list(‘ABCD’))
df
通过字典创建DataFrame对象
df2 = pd.DataFrame({ ‘A’ : 1.,
‘B’ : pd.Timestamp(‘20130102’),
‘C’ : pd.Series(1,index=list(range(4)),dtype=‘float32’),
‘D’ : np.array([3] * 4,dtype=‘int32’),
‘E’ : pd.Categorical([“test”,“train”,“test”,“train”]),
‘F’ : ‘foo’ })
df2
df2.dtypes
dir(df2)

数据视图

返回目录
观察数据的头部和尾部
df.head()
df.tail(3)
查看DataFrame对象的索引，列名，数据信息
df.index
df.columns
df.values
简单统计
df.describe()
转置数据
df.T
根据列名排序
df.sort_index(axis=1, ascending=False)
根据B列数值排序
df.sort_values(by=‘B’)

数据选取

返回目录

选取

选取单列数据
df[‘A’]
按行选取数据
df[0:3]
df[‘20130102’:‘20130104’]

通过标签选取数据

df.loc[dates[0]]
df.loc[:,[‘A’,‘B’]]
df.loc[‘20130102’:‘20130104’,[‘A’,‘B’]]
df.loc[‘20130102’,[‘A’,‘B’]]
df.loc[dates[0],‘A’]
df.at[dates[0],‘A’]

通过位置选取数据

df.iloc[3]
df.iloc[3:5, 0:2]
df.iloc[[1,2,4],[0,2]]
df.iloc[1:3]
df.iloc[:, 1:3]
df.iloc[1, 1]
df.iat[1, 1]

布尔索引

df[df.A>0]
df[df>0]
df2 = df.copy()
df2[‘E’] = [‘one’, ‘one’,‘two’,‘three’,‘four’,‘three’]
df2
df2[df2[‘E’].isin([‘two’,‘four’])]

修改数据

s1 = pd.Series([1,2,3,4,5,6], index=pd.date_range(‘20130102’, periods=6))
s1
df[‘F’] = s1
df.at[dates[0], ‘A’] = 0
df.iat[0, 1] = 0
df.loc[:, ‘D’] = np.array([5] * len(df))
df
df2 = df.copy()
df2[df2 > 0] = -df2
df2

数据缺失的处理

返回目录
df1 = df.reindex(index=dates[0:4], columns=list(df.columns) + [‘E’])
df1.loc[dates[0]:dates[1],‘E’] = 1
df1
舍弃含有NaN的行
df1.dropna(how=‘any’)
填充缺失数据
df1.fillna(value=5)
pd.isnull(df1)

函数操作

返回目录

统计

纵向求均值
df.mean()
横向求均值
df.mean(1)
s = pd.Series([1,3,5,np.nan,6,8], index=dates).shift(2)
s
df.sub(s, axis=‘index’)

Apply函数

df.apply(np.cumsum)
df.apply(lambda x: x.max() - x.min())

直方统计

s = pd.Series(np.random.randint(0, 7, size=10))
s
s.value_counts()

字符串方法

s = pd.Series([‘A’, ‘B’, ‘C’, ‘Aaba’, ‘Baca’, np.nan, ‘CABA’, ‘dog’, ‘cat’])
s.str.lower()

数据合并

返回目录

Concat函数

df = pd.DataFrame(np.random.randn(10, 4))
df
pieces = [df[:3], df[3:6], df[7:]]
pd.concat(pieces)

Join函数

left = pd.DataFrame({‘key’: [‘foo’, ‘foo’], ‘lval’: [1, 2]})
right = pd.DataFrame({‘key’: [‘foo’, ‘foo’], ‘rval’: [4, 5]})
left
right
pd.merge(left, right, on=‘key’)

Append函数

df = pd.DataFrame(np.random.randn(8, 4), columns=[‘A’,‘B’,‘C’,‘D’])
df
s = df.iloc[3]
df.append(s, ignore_index=True)

分组

返回目录
返回目录df = pd.DataFrame({‘A’ : [‘foo’, ‘bar’, ‘foo’, ‘bar’,
‘foo’, ‘bar’, ‘foo’, ‘foo’],
‘B’ : [‘one’, ‘one’, ‘two’, ‘three’,
‘two’, ‘two’, ‘one’, ‘three’],
‘C’ : np.random.randn(8),
‘D’ : np.random.randn(8)})
df
df.groupby(‘A’).sum()
df.groupby([‘A’, ‘B’]).sum()

数据变形

返回目录

Stack函数

tuples = list(zip(*[[‘bar’, ‘bar’, ‘baz’, ‘baz’,
‘foo’, ‘foo’, ‘qux’, ‘qux’],
[‘one’, ‘two’, ‘one’, ‘two’,
‘one’, ‘two’, ‘one’, ‘two’]]))
index = pd.MultiIndex.from_tuples(tuples, names=[‘first’, ‘second’])
df = pd.DataFrame(np.random.randn(8, 2), index=index, columns=[‘A’, ‘B’])
df2 = df[:4]
df2
stacked = df2.stack()
stacked
stacked.unstack()
stacked.unstack(1)
stacked.unstack(0)

数据透视表

df = pd.DataFrame({‘A’ : [‘one’, ‘one’, ‘two’, ‘three’] * 3,
‘B’ : [‘A’, ‘B’, ‘C’] * 4,
‘C’ : [‘foo’, ‘foo’, ‘foo’, ‘bar’, ‘bar’, ‘bar’] * 2,
‘D’ : np.random.randn(12),
‘E’ : np.random.randn(12)})
df
df.pivot_table(values=‘D’, index=[‘A’, ‘B’], columns=‘C’)

时间序列

返回目录
rng = pd.date_range(‘1/1/2012’, periods=100, freq=‘S’)
ts = pd.Series(np.random.randint(0, 500, len(rng)), index=rng)
ts.resample(‘5Min’).sum()
rng = pd.date_range(‘3/6/2012 00:00’, periods=5, freq=‘D’)
ts = pd.Series(np.random.randn(len(rng)), rng)
ts
ts_utc = ts.tz_localize(‘UTC’)
ts_utc
ts_utc.tz_convert(‘US/Eastern’)
rng = pd.date_range(‘1/1/2012’, periods=5, freq=‘M’)
ts = pd.Series(np.random.randn(len(rng)), index=rng)
ts
ps = ts.to_period()
ps
ps.to_timestamp()
prng = pd.period_range(‘1990Q1’, ‘2000Q4’, freq=‘Q-NOV’)
ts = pd.Series(np.random.randn(len(prng)), prng)
ts.index = (prng.asfreq(‘M’, ‘e’) + 1).asfreq(‘H’, ‘s’) + 9
ts.head()

数据标签

返回目录
df = pd.DataFrame({“id”:[1,2,3,4,5,6], “raw_grade”:[‘a’, ‘b’, ‘b’, ‘a’, ‘a’, ‘e’]})
df[‘grade’] = df[‘raw_grade’].astype(“category”)
df[‘grade’]
df[“grade”].cat.categories = [“very good”, “good”, “very bad”]
df[“grade”] = df[“grade”].cat.set_categories([“very bad”, “bad”, “medium”, “good”, “very good”])
df[“grade”]
df.sort_values(by=‘grade’)
df.groupby(“grade”).size()

绘图

返回目录
ts = pd.Series(np.random.randn(1000), index=pd.date_range(‘1/1/2000’, periods=1000))
ts = ts.cumsum()
ts.plot()
df = pd.DataFrame(np.random.randn(1000, 4), index=ts.index,
columns=[‘A’, ‘B’, ‘C’, ‘D’])
df = df.cumsum()
plt.figure(); df.plot(); plt.legend(loc=‘best’)

导入导出数据

返回目录
df.to_csv(‘foo.csv’)
pd.read_csv(‘foo.csv’).head()
df.to_hdf(‘foo.h5’,‘df’)
pd.read_hdf(‘foo.h5’,‘df’).head()
df.to_excel(‘foo.xlsx’, sheet_name=‘Sheet1’)
pd.read_excel(‘foo.xlsx’, ‘Sheet1’, index_col=None, na_values=[‘NA’]).head()

想要更多的交流