python pandas series_python学习笔记（一）Pandas:Series与DataFrame基础操作

传送门

若无特殊说明，以下操作环境均在jupyter notebook中

1. 检查当前使用版本

import pandas

print(pandas.__version__)

若返回的非最新版本，可通过在cmd中输入指令升级

conda update pandas

系统会自动下载安装最新包，安装好后重启jupyter notebook即可

2. 读取文件(简)

一般先将所要读取的文件转为csv或者txt格式

文件路径格式：\\或者/

使用函数read_csv或者read_table，前者默认sep = ','，后者默认sep = '\t'(稍后作详细说明)

windows环境中读取/导出文件时若出现编码问题，可尝试通过设置encoding = 'gbk'解决。(读取时也可先用记事本打开，另存为编码utf-8的文件)

import pandas as pd

df = pd.read_csv('C:\\Users\\admin\\Desktop\\filename.csv', sep = ',')

3. Series

定义：一种类似于一维数组的对象，由一列数据和一列索引组成

创建：

#第一种：默认索引

import pandas as pd

s1 = pd.Series(range(0,5))

s1#图s1

#第二种：字典转Series，key为索引

import pandas as pd

dic = {'a':0,'b':1,'c':2,'d':3,'e':4,'f':5}

s2 = pd.Series(dic)

s2#图s2

#第三种：字符串转列表，元素为索引。若为单值，则填充所有索引位对应值

import pandas as pd

s3 = pd.Series(3, index = list('abcd'))

s3#图s3

返回

s1.png

s2.png

s3.png

操作

#选取

s2['a']

s2['a','c','d']

#运算

s2[s2 > 2] #筛选大于2的元素，返回包含索引

s2 * 2 #对所有元素*2

s2 + s3 #自动对齐，缺失值以NaN填充

#判断

'a' in s2

#修改索引

s3.index = ['e','f','g','h']

#重新索引

s3.reindex(['d','c','b','a','x'], methon = 'ffill' )

#丢弃指定轴上的项

s3.drop('a')

#索引切片

s3['b':'c'] #包含末端

#排序和排名

s3.order()

s3.rank(methon = 'max', ascending = False)

#唯一值

s3.unique().sort()

#值频率

s3.value_counts()

或

pd.value_counts(s3.values, sort = False)

#成员资格

s3.isin(['a','b'])

#过滤缺失值

s3.dropna()

4.DataFrame

定义：二维(或高维)数据结构，每列数据类型可以不同，行和列都有索引

创建：

#第一种：等长列表或Numpy数组组成的字典

data = {'state' : ['Ohio','Ohio','Ohio','Nevada','Nevada'],

'year' : [2001, 2001, 2002, 2001, 2002],

'pop' : [1.5, 1.7, 3.6, 2.4, 2.9]}

frame = DataFrame(data, columns = ['year', 'state', 'pop'], index = ['one','two','three',' four','five'])

#如果传入的列在数据中找不到，则以NaN填充

#第二种：嵌套字典

pop = {'Nevada' : {2001: 12.4. 2002: 2.9}, 'Ohio' : {2000 : 1.5, 2001: 1.7, 2002: 3.6}}

frame2 = DataFrame(pop)

操作

#选取单列，返回Series

frame['state']

frame.year

#选取单行，返回Series

frame.ix['three']

#修改值

frame['state'] = 'Ohio'

frame['year'] = np.range(2000,2005) #长度必须匹配

#如果传入的数组有索引，则按索引对应修改值

#为不存在的列赋值则产生新列

frame['state2'] = frame.state == 'Ohio'

#转置

frame.T

#重新索引

frame.reindex(index = ['two', 'one'], columns = ['year', 'others'], method = 'bfill')

#或

frame.ix[ ['two','one'], ['year', 'others']]

#丢弃指定轴上的项

frame.drop(['one','two'])

frame.drop('year', axis = 0)

#切片，即多行多列

frame[:2]

frame[frame['year'] > 2001]

frame.ix[:'three', 'year']

frame.ix[frame.year > 2001, :2]

#算术运算

df1 + df2 #行列同时对齐

df1.add(df2, fill_value = 0)

#广播

df - df.ix[0] #df所有行都会按列索引与df[0]相减

df.sub(df['a'], axis = 0)

#函数应用和映射

f = lambda x: x.max() - x.min()

df.apply(f) #对每一列最大值-最小值

df.apply(f, axis = 1) #对每一行 最大值- 最小值

format = lambda x: '%.2f' %x

frame.applymap(format) #元素级应用

#排序和排名

frame.sort_index(by = ['a','b'])

frame.sort_index(axis = 1, ascending = False)

frame.rank(axis = 1)#对每列内部排名

#描述统计

df.sum(axis = 1,skipna = False)

df.cusum()#累加

df.describe()

#相关系数和协方差

#略

#过滤缺失值

df.dropna(axis = 1, how = 'all')

#填充缺失数据

df.fillna(0)

df.fillna({'a':1,'b':2}) #不同列填充不同值

#注：fillna默认返回新对象，但也可以对现有对象就地修改：

_ = df.fillna(0, inplace = True)

#层次化索引

#略

#列与索引转换

df.set_index('a', drop = False) #列转为索引，保留列

df.reset_index() #索引转为列