pandas读书笔记

pandas数据结构介绍

Series

类似一维数组的对象，数据(numpy数据类型)和相关的标签

obj = Series([4, 7, -5, 3])
obj.index
obj.values

# 指定索引
obj2 = Series([4, 7, -5, 3], index=['d','b','a','c'])
obj2.index
obj2['a']
obj2[['a','d','c']]

# numpy数组运算都会保留索引和值之间的链接
obj2[obj2>0]
obj2*2
np.exp(obj2)

# 可以看做一个定长的有序字典
'b' in obj2

# 如果数据存在Python字典中，可以通过字典来创建Series
sdata = {'Ohio':35000, 'Texas':71000, 'Oregon':16000, 'Utah':5000}
obj3 = Series(sdata)
states = ['California', 'Ohio', 'Oregon', 'Texas']
obj4 = Series(sdata, index=states)
pd.isnull(obj4)
pd.notnull(obj4)
obj4.isnull()

# Series对象本身及其索引都有一个name属性
obj4.name = 'population'
obj4.index.name = 'state'

# Series索引可以通过赋值就地修改
obj.index = ['Bob', 'Steve', 'Jeff', 'Ryan']

DataFrame

表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型

# 构建DataFrame
# 最常用直接传入一个由等长列表或numpy数组组成的字典
data = {
'state':['Ohio','Ohio','Ohio','Nevada','Nevada'],
'year':[2000,2001,2002,2001,2002],
'pop':[1.5,1.7,3.6,2.4,2.9]}
# 结果会自动加上索引
frame = DataFrame(data)

# 如果指定了列序列
frame = DataFrame(data, columns=['year','state','pop'])

# 和Series一样，如果传入的列在数据中找不到，产生NaN
frame2 = DataFrame(data, columns=['year', 'state', 'pop', 'debt'], index=['one','two','three','four','five'])
frame2.columns

# 通过类似字典标记的方式或属性的方式，可以将DataFrame的列获取为Series
frame2['state']
frame2.year

# 行获取
frame2.ix['three']

# 列可以通过赋值的方式修改
frame2['debt'] = 16.5
frame2['debt'] = np.arange(5.)

# 将列表或数组赋值给某个列时，长度必须匹配，如果赋值的是Series，会精确匹配索引
val = Series([-1.2, -1.5, -1.7], index = ['two', 'four', 'five'])
frame2['debt'] = val

# 为不存在的列赋值，会创建新列
frame2['eastern'] = frame2.state == 'Ohio'

# del 删除列
del frame2['eastern']

#### 通过索引方式返回的列都是相应数据的视图，不是副本

# 另一种常见的数据形式：嵌套字典。外层键：列，内层键：索引
pop = {
'Nevada':{2001:2.4, 2002:2.9},
'Ohio':{2000:1.5, 2001:1.7, 2002:3.6}}
frame3 = DataFrame(pop)

# 对结果进行转置
frame3.T

# 内层字典的键会被合并、排序形成最终的索引，如果显式指定了索引则不会这样
DataFrame(pop, index=[2001,2002,2003])

# index 和 columns的 name属性
frame3.index.name = 'year'
frame3.columns.name = 'state'

frame3.values

索引对象