pandas Task2索引

加载数据

import numpy as np
import pandas as pd
df = pd.read_csv('data/table.csv',index_col='ID')
df.head()

1 单级索引

1.1 loc方法、iloc方法、[]操作符

最常用的索引方法可能就是这三类，其中iloc表示位置索引，loc表示标签索引，[]也具有很大的便利性，各有特点

• （a）loc方法（注意：所有在loc中使用的切片全部包含右端点！）
  
  本质上说，loc中能传入的只有布尔列表和索引子集构成的列表，只要把握这个原则就很容易理解上面那些操作

• （b）iloc方法（注意与loc不同，切片右端点不包含）
  
  由上所述，iloc中接收的参数只能为整数或整数列表，不能使用布尔索引

• （c） []操作符
  如果不想陷入困境，请不要在行索引为浮点时使用[]操作符，因为在Series中的浮点[]并不是进行位置比较，而是值比较，非常特殊

• （c.1）Series的[]操作
  

• （c.2）DataFrame的[]操作
  
  一般来说，[]操作符常用于列选择或布尔选择，尽量避免行的选择

1.2 布尔索引

• （a）布尔符号：’&’,’|’,’~’：分别代表和and，或or，取反not
  
• （b） isin方法
  

1.3 快速标量索引

• 当只需要取一个元素时，at和iat方法能够提供更快的实现：

display(df.at[1101,'School'])
display(df.loc[1101,'School'])
display(df.iat[0,0])
display(df.iloc[0,0])
#可尝试去掉注释对比时间
%timeit df.at[1101,'School']
%timeit df.loc[1101,'School']
%timeit df.iat[0,0]
%timeit df.iloc[0,0]

1.4 区间索引

此处介绍并不是说只能在单级索引中使用区间索引，只是作为一种特殊类型的索引方式，在此处先行介绍

• （a）利用interval_range方法
  
• （b）利用cut将数值列转为区间为元素的分类变量，例如统计数学成绩的区间情况：
  
• （c）区间索引的选取
  
• 如果想要选取某个区间，先要把分类变量转为区间变量，再使用overlap方法：
  

2 多级索引

2.1 创建多级索引

• （a）通过from_tuple或from_arrays
  
• （c）指定df中的列创建（set_index方法）
  

2.2 多层索引切片

• （a）一般切片
  
• （b）第一类特殊情况：由元组构成列表
  
• （c）第二类特殊情况：由列表构成元组
  

2.3 多层索引中的slice对象

• 索引Slice的使用非常灵活：
  

2.4 索引层的交换

• （a）swaplevel方法（两层交换）
  
• （b）reorder_levels方法（多层交换）
  

3 索引设定

3.1 index_col参数

• index_col是read_csv中的一个参数，而不是某一个方法：
  

3.2 reindex和reindex_like

• reindex是指重新索引，它的重要特性在于索引对齐，很多时候用于重新排序
  
• 可以选择缺失值的填充方法：fill_value和method（bfill/ffill/nearest），其中method参数必须索引单调
  
• reindex_like的作用为生成一个横纵索引完全与参数列表一致的DataFrame，数据使用被调用的表
  
• 如果df_temp单调还可以使用method参数：
  

3.3 set_index和reset_index

先介绍set_index：从字面意思看，就是将某些列作为索引

• 使用表内列作为索引：
  
• 利用append参数可以将当前索引维持不变
  
• 当使用与表长相同的列作为索引（需要先转化为Series，否则报错）：
  
• 可以直接添加多级索引：
  
  下面介绍reset_index方法，它的主要功能是将索引重置
• 默认状态直接恢复到自然数索引：
  
• 用level参数指定哪一层被reset，用col_level参数指定set到哪一层：
  

3.4 rename_axis和rename

• rename_axis是针对多级索引的方法，作用是修改某一层的索引名，而不是索引标签
  
• rename方法用于修改列或者行索引标签，而不是索引名：
  

4 常用索引型函数

4.1 where函数

• 当对条件为False的单元进行填充：
  
• 通过这种方法筛选结果和[]操作符的结果完全一致：
  
• 第一个参数为布尔条件，第二个参数为填充值：
  

4.2 mask函数

• mask函数与where功能上相反，其余完全一致，即对条件为True的单元进行填充
  

4.3 query函数

• query函数中的布尔表达式中，下面的符号都是合法的：行列索引名、字符串、and/not/or/&/|/~/not in/in/==/!=、四则运算符
  

5 重复元素处理

5.1 duplicated方法

• 该方法返回了是否重复的布尔列表
  
• 可选参数keep默认为first，即首次出现设为不重复，若为last，则最后一次设为不重复，若为False，则所有重复项为False
  

5.2 drop_duplicates方法

• 从名字上看出为剔除重复项，这在后面章节中的分组操作中可能是有用的，例如需要保留每组的第一个值：
  
• 参数与duplicate函数类似：
  
• 在传入多列时等价于将多列共同视作一个多级索引，比较重复项：
  

6 抽样函数

这里的抽样函数指的就是sample函数

• （a）n为样本量
  
• （b）frac为抽样比
  
• （c）replace为是否放回
  
• （d）axis为抽样维度，默认为0，即抽行
  
• （e）weights为样本权重，自动归一化
  

7 问题与练习

7.1 问题

【问题一】 如何更改列或行的顺序？如何交换奇偶行（列）的顺序？
【问题二】 如果要选出DataFrame的某个子集，请给出尽可能多的方法实现。
【问题三】 query函数比其他索引方法的速度更慢吗？在什么场合使用什么索引最高效？
【问题四】 单级索引能使用Slice对象吗？能的话怎么使用，请给出一个例子。
【问题五】 如何快速找出某一列的缺失值所在索引？
【问题六】 索引设定中的所有方法分别适用于哪些场合？怎么直接把某个DataFrame的索引换成任意给定同长度的索引？
【问题七】 多级索引有什么适用场合？
【问题八】 什么时候需要重复元素处理？

7.2 练习