第二章 索引
先康康什么样
import pandas as pd
import numpy as np
df = pd.read_csv('mashuai/table.csv',index_col='Address')
df.head()
一、单级索引
1、 基本方法
loc方法
1. loc方法、iloc方法、[]操作符
iloc表示位置索引,loc表示标签索引,[]很便利
(a)loc方法
1、行索引
df.loc["street_1"}#单行索引
df.loc[["street_1,street_4"]]#多行索引
注意:所有在loc中使用的切片全部包含右端点,loc为左右全闭
还有的多行索引就像集合一样
中间是冒号
df.loc[1103:2103].head()
还有往前索引的加-1
df.loc[1106::-1].head()
2、列索引(与行索引是一样的)
前面加个冒号,
df.loc[:,'Height'].head()
df.loc[:,['Height','Math']].head()#这两个列得索引
df.loc[1102:2403,"Height":"Math"].head()#联合索引
df.loc[1102:2403:3,"Height":"Math"].head()#联合索引,:3代表每三个取一次
[a: b :c](大佬告诉的)
a是起始位置或标签
b是结束位置或标签
c是步长
3、函数式索引
df = pd.read_csv('mashuai/table.csv',index_col="ID")
df.loc[lambda x:x['Gender']=='M'].head()
#loc中使用的函数,传入参数就是前面的df
#这里的例子表示,loc中能够传入函数,并且函数的输入值是整张表,输出为标量、切片、合法列表(元素出现在索引中)、合法索引
def f(x):
return [1101,1103,1203]
df.loc[f]
4、布尔索引
#第一种写法
df.loc[df['Address'].isin(['street_7','street_4'])].head()
#第二种写法+if else语句
df.loc[[True if i[-1]=='4' or i[-1]=='7' else False for i in df['Address'].values]].head()
小节:本质上说,loc中能传入的只有布尔列表和索引子集构成的列表,只要把握这个原则就很容易理解上面那些操作
iiloc方法
注意与loc不同,切片右端点不包含
1.单行索引 loc与iloc一样
2.多行索引(不包括右端)
df.iloc[3:6]
3. 单列索引loc与iloc一样
4. 多列索引(索引列不算入编号内,所以列号为0。1。2。。。8)
df.iloc[:,1:8:2].head()
5.混合索引
df.iloc[3::4,7::-2].head()
6.函数式索引:
df.iloc[lambda x:[3]].head()
小节:iloc中接收的参数只能为整数或整数列表或布尔列表,不能使用布尔Series,如果要用就必须如下把values拿出来
#df.iloc[df['School']=='S_1'].head() #报错
df.iloc[(df['School']=='S_1').values].head()
[]操作符
1.(c.1)Series的[]操作
① 单元素索引:
s = pd.Series(df['Math'],index=df.index)
s[1101]
#使用的是索引标签
34.0
② 多行索引:
s[0:4]
#使用的是绝对位置的整数切片,与元素无关,这里容易混淆
ID
1101 34.0
1102 32.5
1103 87.2
1104 80.4
Name: Math, dtype: float64
③ 函数式索引:
s[lambda x: x.index[16::-6]]
#注意使用lambda函数时,直接切片(如:s[lambda x: 16::-6])就报错,此时使用的不是绝对位置切片,而是元素切片,非常易错
ID
2102 50.6
1301 31.5
1105 84.8
Name: Math, dtype: float64
④ 布尔索引:
s[s>80]
ID
1103 87.2
1104 80.4
1105 84.8
1201 97.0
1302 87.7
1304 85.2
2101 83.3
2205 85.4
2304 95.5
Name: Math, dtype: float64
【注意】如果不想陷入困境,请不要在行索引为浮点时使用[]操作符,因为在Series中[]的浮点切片并不是进行位置比较,而是值比较,非常特殊
2.DataFrame的[]操作
① 单行索引:
row = df.index.get_loc(1102)
df[row:row+1]#跟上一个结果一样
get_loc是吧元素转化为位置,[]操作符可以使用切片进行位置索引
② 多行索引:
#用切片,如果是选取指定的某几行,推荐使用loc,否则很可能报错
df[3:5]
③ 单列索引:
df['School'].head()
ID
1101 S_1
1102 S_1
1103 S_1
1104 S_1
1105 S_1
Name: School, dtype: object
④ 多列索引:
df[['School','Math']].head()
⑤函数式索引:
df[lambda x:['Math','Physics']].head()
⑥ 布尔索引:
df[df['Address']=='street_2'].head()
一般来说,[]操作符常用于列选择或布尔选择,尽量避免行的选择
布尔索引
(a)布尔符号:’&’,’|’,’~’:分别代表和and,或or,取反not
df[(df['Gender']=='F')&(df['Address']=='street_2')].head()
df[(df['Math']>85)|(df['Address']=='street_7')].head()
df[(df['Math']>75)|(df['Address']=='street_1')].head()
loc和[]中相应位置都能使用布尔列表选择;
df.loc[df['Math']>60,df.columns=='Physics'].head()
#思考:为什么df.loc[df['Math']>60,(df[:8]['Address']=='street_6').values].head()得到和上述结果一样?values能去掉吗?
一样,values是不能去掉的
(b) isin方法(三个条件)
2、快速标量索引
当只需要取一个元素时,at和iat方法能够提供更快的实现
display(df.at[1101,'School'])
display(df.loc[1101,'School'])
display(df.iat[0,0])
display(df.iloc[0,0])
#可尝试去掉注释对比时间
#%timeit df.at[1101,'School']
#%timeit df.loc[1101,'School']
#%timeit df.iat[0,0]
#%timeit df.iloc[0,0]
'S_1'
'S_1'
'S_1'
'S_1'
3、区间索引
此处介绍并不是说只能在单级索引中使用区间索引,只是作为一种特殊类型的索引方式
(a)利用interval_range方法
pd.interval_range(start=0,end=5)
#closed参数可选'left''right''both''neither',默认左开右闭``
IntervalIndex([(0, 1], (1, 2], (2, 3], (3, 4], (4, 5]],
closed='right',
dtype='interval[int64]')
pd.interval_range(start=0,periods=8,freq=5)
#periods参数控制区间个数,freq控制步长
IntervalIndex([(0, 5], (5, 10], (10, 15], (15, 20], (20, 25], (25, 30], (30, 35], (35, 40]],
closed='right',
dtype='interval[int64]')
(b)利用cut将数值列转为区间为元素的分类变量,例如统计数学成绩的区间情况:
math_interval = pd.cut(df['Math'],bins=[0,40,60,80,100])
#注意,如果没有类型转换,此时并不是区间类型,而是category类型
math_interval.head()
ID
1101 (0, 40]
1102 (0, 40]
1103 (80, 100]
1104 (80, 100]
1105 (80, 100]
Name: Math, dtype: category
Categories (4, interval[int64]): [(0, 40] < (40, 60] < (60, 80] < (80, 100]]
(c)区间索引的选取
如果想要选取某个区间,先要把分类变量转为区间变量,再使用overlap方法:
二、多级索引
1. 创建多级索引
(a)通过from_tuple或from_arrays
① 直接创建元组
tuples = [('A','a'),('A','b'),('B','a'),('B','b')]
mul_index = pd.MultiIndex.from_tuples(tuples, names=('Upper', 'Lower'))
mul_index
MultiIndex([('A', 'a'),
('A', 'b'),
('B', 'a'),
('B', 'b')],
names=['Upper', 'Lower'])
pd.DataFrame({'Score':['perfect','good','fair','bad']},index=mul_index)
mul_index
#由此看出内部自动转成元组
MultiIndex([('A', 'a'),
('A', 'b'),
('B', 'a'),
('B', 'b')],
names=['Upper', 'Lower'])
(b)通过from_product
L1 = ['A','B']
L2 = ['a','b']
pd.MultiIndex.from_product([L1,L2],names=('Upper', 'Lower'))
#两两相乘
MultiIndex([('A', 'a'),
('A', 'b'),
('B', 'a'),
('B', 'b')],
names=['Upper', 'Lower'])
(c)指定df中的列创建(set_index方法)
df_using_mul = df.set_index(['Class','Address'])
df_using_mul.head()
2. 多层索引切片
(a)一般切片
#df_using_mul.loc['C_2','street_5']
#当索引不排序时,单个索引会报出性能警告
#df_using_mul.index.is_lexsorted()
#该函数检查是否排序
df_using_mul.sort_index().loc['C_2','street_5']
#df_using_mul.sort_index().index.is_lexsorted()
(b)第一类特殊情况:由元组构成列表
df_using_mul.sort_index().loc[[('C_2','street_7'),('C_3','street_2')]]
#表示选出某几个元素,精确到最内层索引
(c)第二类特殊情况:由列表构成元组
df_using_mul.sort_index().loc[(['C_2','C_3'],['street_4','street_7']),:]
#选出第一层在‘C_2’和'C_3'中且第二层在'street_4'和'street_7'中的行
3. 多层索引中的slice对象
L1,L2 = ['A','B','C'],['a','b','c']
mul_index1 = pd.MultiIndex.from_product([L1,L2],names=('Upper', 'Lower'))
L3,L4 = ['D','E','F'],['d','e','f']
mul_index2 = pd.MultiIndex.from_product([L3,L4],names=('Big', 'Small'))
df_s = pd.DataFrame(np.random.rand(9,9),index=mul_index1,columns=mul_index2)
df_s
idx=pd.IndexSlice
索引Slice的使用非常灵活:
df_s.loc[idx['B':,df_s['D']['d']>0.3],idx[df_s.sum()>4]]
#df_s.sum()默认为对列求和,因此返回一个长度为9的数值列表
4. 索引层的交换
- 索引层的交换
(a)swaplevel方法(两层交换)
(b)reorder_levels方法(多层交换)
#如果索引有name,可以直接使用name
df_muls.reorder_levels(['Address','School','Class'],axis=0).sort_index().head()
三、索引设定
1. index_col参数
index_col是read_csv中的一个参数,而不是某一个方法
pd.read_csv('mashuai/table.csv',index_col=['Address','School']).head()
2. reindex和reindex_like
reindex是指重新索引,它的重要特性在于索引对齐,很多时候用于重新排序
df.head()
df.reindex(index=[1101,1203,1206,2402])
df.reindex(columns=['Height','Gender','Average']).head()
可以选择缺失值的填充方法:fill_value和method(bfill/ffill/nearest),其中method参数必须索引单调
df.reindex(index=[1101,1203,1206,2402],method='bfill')
#bfill表示用所在索引1206的后一个有效行填充,ffill为前一个有效行,nearest是指最近的
df.reindex(index=[1101,1203,1206,2402],method='nearest')
#数值上1205比1301更接近1206,因此用前者填充
reindex_like的作用为生成一个横纵索引完全与参数列表一致的DataFrame,数据使用被调用的表
df_temp = pd.DataFrame({'Weight':np.zeros(5),
'Height':np.zeros(5),
'ID':[1101,1104,1103,1106,1102]}).set_index('ID')
df_temp.reindex_like(df[0:5][['Weight','Height']])
如果df_temp单调还可以使用method参数
df_temp = pd.DataFrame({'Weight':range(5),
'Height':range(5),
'ID':[1101,1104,1103,1106,1102]}).set_index('ID').sort_index()
df_temp.reindex_like(df[0:5][['Weight','Height']],method='bfill')
#可以自行检验这里的1105的值是否是由bfill规则填充
3. set_index和reset_index
set_index:从字面意思看,就是将某些列作为索引
使用表内列作为索引:
df.head()
df.set_index('Class').head()
利用append参数可以将当前索引维持不变
df.set_index('Class',append=True).head()
当使用与表长相同的列作为索引(需要先转化为Series,否则报错)
df.set_index(pd.Series(range(df.shape[0]))).head()
可以直接添加多级索引:
df.set_index([pd.Series(range(df.shape[0])),pd.Series(np.ones(df.shape[0]))]).head()
下面介绍reset_index方法,它的主要功能是将索引重置
默认状态直接恢复到自然数索引
df.reset_index().head()
用level参数指定哪一层被reset,用col_level参数指定set到哪一层:
df_temp1.columns
#看到的确插入了level2
MultiIndex([( '', 'Lower'),
('D', 'd'),
('D', 'e'),
('D', 'f'),
('E', 'd'),
('E', 'e'),
('E', 'f'),
('F', 'd'),
('F', 'e'),
('F', 'f')],
names=['Big', 'Small'])
df_temp1.index
#最内层索引被移出
Index(['A', 'A', 'A', 'B', 'B', 'B', 'C', 'C', 'C'], dtype='object', name='Upper')
4. rename_axis和rename
rename_axis是针对多级索引的方法,作用是修改某一层的索引名,而不是索引标签
df_temp.rename_axis(index={'Lower':'LowerLower'},columns={'Big':'BigBig'})
rename方法用于修改列或者行索引标签,而不是索引名:
df_temp.rename(index={'A':'T'},columns={'e':'changed_e'}).head()
四、常用索引型函数
1. where函数
- where函数
df.head()
df.where(df['Gender']=='M').head()
#不满足条件的行全部被设置为NaN
这种方法筛选结果和[]操作符的结果完全一致
df.where(df['Gender']=='M').dropna().head()
第一个参数为布尔条件,第二个参数为填充值:
df.where(df['Gender']=='M',np.random.rand(df.shape[0],df.shape[1])).head()
2. mask函数
mask函数与where功能上相反,其余完全一致,即对条件为True的单元进行填充
3. query函数
query函数中的布尔表达式中,下面的符号都是合法的:行列索引名、字符串、and/not/or/&/|/~/not in/in/==/!=、四则运算符
df.head()
df.query('(Address in ["street_6","street_7"])&(Weight>(70+10))&(ID in [1303,2304,2402])')
五、重复元素处理
1、duplicated方法
该方法返回了是否重复的布尔列表
df.duplicated('Class').head()
ID
1101 False
1102 True
1103 True
1104 True
1105 True
dtype: bool
可选参数keep默认为first,即首次出现设为不重复,若为last,则最后一次设为不重复,若为False,则所有重复项为True
df.duplicated('Class',keep='last').tail()
ID
2401 True
2402 True
2403 True
2404 True
2405 False
dtype: bool
df.duplicated('Class',keep=False).head()
ID
1101 True
1102 True
1103 True
1104 True
1105 True
dtype: bool
2. drop_duplicates方法
从名字上看出为剔除重复项,这在后面章节中的分组操作中可能是有用的,例如需要保留每组的第一个值
df.drop_duplicates('Class')
参数与duplicate函数类似
df.drop_duplicates('Class',keep='last')
在传入多列时等价于将多列共同视作一个多级索引,比较重复项
df.drop_duplicates(['School','Class'])
六、抽样函数
这里的抽样函数指的就是sample函数
(a)n为样本量
df.sample(n=5)
(b)frac为抽样比
df.sample(frac=0.05)
(c)replace为是否放回
df.sample(n=df.shape[0],replace=True).head()
df.sample(n=35,replace=True).index.is_unique
False
(d)axis为抽样维度,默认为0,即抽行
df.sample(n=3,axis=1).head()
(e)weights为样本权重,自动归一化
七、学习心得
掌握了pandas索引的基本用法,然而最重要的还是要用时间去消化和实践,实践是检验真理的唯一标准,这门学习基础很重要,一定要多多动手实践,这样才可以在数据分析行业行云流水,加油吧!铁子。