pandas 索引常用操作

索引操作

建立索引

df.set_index(‘name’) # 设置name列为索引

df.set_index([‘name’,‘team’]) #设置层级索引

df.set_index([df.name.str[0],‘name’]) #设置层级索引

df.set_index(‘name’,inplace=True) #设置 inplace=True参数可以直接修改原df

s=pd.Series(i for i in range(100))

df.set_index(s) # 指定一个series

df.set_index([s,‘name’]) # 同时指定series和现有字段

df.set_index(‘name’,drop=False) # 保留原列

df.set_index(‘name’,append=True) # 保留原索引

重置索引

df.reset_index() # 清除索引

df.reset_index(inplace=True) #设置 inplace=True参数可以直接修改原df

df.reset_index([‘month’,‘year’]).reset_index(level=1) # year一级索引清除

df.reset_index(level=‘class’) # class一级索引清除

索引常用方法

df.index.astype(‘int64’) # 转换类型

df.index.isin() # 是否存在

df.index.rename(‘number’) # 修改索引的名称

df.index.nunique() # 不重复值的数量

df.index.sort_values(ascending=False) # 排序，倒序

df.index.map(lambda x:x+‘_’) # map函数处理

df.index.str.replace(‘_’,‘’) # str 替换

df.index.str.split(‘_’) # str 分隔

df.index.to_list() # 转换为列表

df.index.to_frame(index=False,name=‘a’) # 转称DataFrame

df.index.to_series() # 转为serise

df.index.to_numpy() # 转为numpy

df.index.unique() # 去重

df.index.value_counts() # 去重及计数

df.index.where(df.index==‘a’) # 筛选

df.index.rename(‘grade’,inpalce=False) # 重命名索引

df.index.rename([‘species’,‘year’]) # 多层，重命名索引

df.index.T # 转置，在多层索引里很有用

df.index.set_names(‘species’,level=0) # 设置名称

df.index.set_names([‘kind’,‘year’],inplace = True) # 设置名称

索引重命名

rename_axis 方法可以修改索引，也可以修改列名

s.rename_axis(‘student_name’) # 重命名series 索引

df.rename_axis([‘dow’,‘hr’]) # 多层索引修改名称

df.rename_axis(‘info’,axis=‘columns’) #修改列索引

df.rename_axis(columns={‘name’:‘s_name’,‘b’:‘B’}) # 修改层级索引名称

df.rename_axis(columns=str.upper) # 列索引名变大写

修改索引内容

df.rename和df.set_axis可以修改行、列的索引

df.rename(columns={‘A’:‘a’,‘B’:‘c’}) # 一 一对应修改列索引

df.rename(index={‘A’:‘a’,‘B’:‘c’}) # 修改行索引

df.rename({‘A’:‘a’,‘B’:‘c’},axis=‘index’) # 修改行索引 axis=0

df.rename(index=str) # 修改索引数据类型

df.rename(lambda x:‘t_’+x ,axis=1) # 修改列名

df.rename(lambda x,y = iter(‘abcdef’):next(y),axis=1) # 利用iter()函数的next特性修改列名

统计计算

描述统计

df.describle() 返回一个多行的所有数字列的统计表：总数、平均数、标准差、最小值、四分位数、最大值等

如果没有数字，则会输出与字符相关的统计数据：数量、不重复值数、最大值（按照首字母顺序）

数学统计

• df.mean() # 返回所有列的均值
• df.mean(1) # 返回所有行的均值
• df.corr() # 返回列与列之间的相关系数
• df.count() # 返回每一列中的非空值的个数
• df.max() # 返回每一列的最大值
• df.min() # 返回每一列的最小值
• df.median() # 返回每一列的中位数
• df.std() # 返回每一列的标准差
• df.var() # 方差
• df.mode() # 众数
• df.sem() # 平均值的标准误差

非统计计算

df.round({‘Q1’:2,‘Q2’:0}) # 指定Q1四舍五入保留两位小数，Q2四舍五入保留整数

df.nunique() #每个列的去重值的数量

s.value_counts() # series不重复的值及数量

s.value_counts(normalize=True) # series不重复值的频率

s.value_counts(sort=True) # series不重复值的频率

s.unique() # series 去重的值array

s.is_unique() # series 是否有重复

位置计算

位置差值diff()

df.diff()可以做位移差操作，经常用来计算一个序列数据中上一个和下一个数据之间的差值；如果是增量研究，默认被减的数列下移一位，原数据在同位置上对位移后的数据相减，得到一个新的序列，第一位由于被减数下移，没有数据，结果是NaN；可以传入一个数值来规定移动多少位，负数表示方向移动。如果Series类型不是数字，会报错

pd.Series([9,4,6,7,9]).diff()

pd.Series([9,4,6,7,9]).diff(-2)

对于DataFrame 可以传入axis=1进行左右移动

df.loc[:5,‘Q1’:‘Q4’].diff(1,axis=1)

位置移动shift()

shift()可以对数据进行位移，不做任何计算

df.shift() # 整体下移一行，最顶的一行位NaN

df.shift(3) ## 移动三行

df.Q1.head().shift(-1) # 整体上移以上，最后一行为NaN

df.shift(axis=1) # 右移一位

df.shift(axis=3) # 右移三位

df.shift(-1,axis=1) # 左移一位

df.Q1-df.Q1.shift() # 实现了df.Q1.diff()

位置序号rank()

rank()可以生成数据的排序值替换原来的数据值，支持对所有类型的数据排序

df.head().rank(axis=1) # 横向排名

df.head().rank() # 纵向排名

数据选择

df[col] # 选择列

df.loc[label] # 按照索引选择行 ，df.loc[<行表达式>,<列表达式>]

df.iloc[loc] # 按照数字索引选择行，df.iloc[<行表达式>,<列表达式>]，只能用于数字索引

df[5:10] # 切片选择行

df[bool_vec] # 使用表达式筛选行

df.at[4,‘Q1’] # 取某一个值，df.at[<索引>,<索引>]

df.iat[4,2] # 取某一个值，df.iat[<索引>,<索引>] 只能用与数字索引

df.get(‘name’,0) # 获取name列，如果不存在，返回0 ; df.get(key,default=None) ，如果无值，返回默认值

df.truncate() 可以对DataFrame和Series进行截取，可以将索引传入before和after参数，将这个区间外的数据剔除

df.truncate(before=2,after=4) 取出2，3，4行数据