【Python】pandas多级索引的骚操作！

最新推荐文章于 2024-07-31 14:30:10 发布
最新推荐文章于 2024-07-31 14:30:10 发布
阅读量2.3k 收藏 32
点赞数 8
文章标签： python pandas 开发语言
原文链接：https://mp.weixin.qq.com/s?__biz=MzIwODI2NDkxNQ==&mid=2247512262&idx=3&sn=465a7306ed18ca7cebb852708cf67eba&chksm=97073b7aa070b26c7e14a0d138e1b565f6df0c5f6c90bf302c48cde64dd3607588877ebdb523&scene=126&sessionid=0
版权

大家好，本篇和大家介绍pandas中的多级索引操作。

500页原创图文、数据代码可戳👉《pandas进阶宝典V1.1.8》进行了解。

我们知道dataframe是一个二维的数据表结构，通常情况下行和列索引都只有一个。但当需要多维度分析时，我们就需要添加多层级索引了。在关系型数据库中也被叫做复合主键。

比如，下面这个数据是高考录取分数线，行索引是地区、学校，列索引是年份、专业，分别对应1级和2级索引，因此共有四个维度。

262223c92f41d846fb2978c3c342b3cf.png

1、多层级索引创建

多级索引的创建分两种情况。一种是只有纯数据，索引需要新建立；另一种是索引可从数据中获取。

因为两种情况建立多级索引的方法不同，下面分情况来介绍。

01 新建多级索引

当只有数据没有索引时，我们需要指定索引值，比如下图。

df = pd.DataFrame(
    [[601,582,611,591],
     [605,575,616,597],
     [591,574,589,575],
     [586,565,584,561]])
print(df)

8be47d74a4a799a22f68301debb2b1e1.png

有四种创建多级层级的方法：MultiIndex.from_arrays,MultiIndex.from_product,MultiIndex.from_tuples,MultiIndex.from_frame。

# 数组
# 每个数组对应着一个层级的索引值
arrays = [['北京','北京','上海','上海'],['北大','清华','上交','复旦']]
mindex = pd.MultiIndex.from_arrays(arrays, names=['城市','大学'])

# 元组
# 每个元组是对应着一对多级索引
tuples = [('北京','北大'),('北京','清华'),('上海','上交'),('上海','复旦')]
mindex = pd.MultiIndex.from_tuples(tuples, names=['城市','大学']) 

# dataframe
# 创建一个dataframe，方式与元组类似，每个元组对应一对多级索引值
frame = pd.DataFrame([('北京','北大'),('北京','清华'),('上海','上交'),('上海','复旦')])
mindex = pd.MultiIndex.from_frame(frame, names=['城市','大学'])

# 给df行索引赋值
df.index = mindex

通过以上三种方式均可为数据添加行索引值，索引值结果一样，如下图。

d8cdcd28fc1542f6cd7adc48214cee73.png 
# product笛卡尔积
city = ['北京', '上海']
college = ['北大','清华','上交','复旦']
mindex1 = pd.MultiIndex.from_product([city,college], names=['城市','大学'])
mindex1

9d8e8906ddd19c71f0ab34eb19b83a50.png

第四种方法是对两个序列生成笛卡尔积，即两两组合，结果如上。这种方式生成的索引和我们上面想要的形式不同，因此对行索引不适用，但是我们发现列索引column目前还没指定，此时是默认的1,2,3,4，进一步发现这里的列索引是符合笛卡尔积形式的，因此我们用from_product来生成column列索引。

# product生成column列索引
year = ['2022','2023']
pro = ['计算机','土木']
mcol = pd.MultiIndex.from_product([year,pro], names=['年份','专业'])

# 对df的行索引、列索引赋值
df.index = mindex
df.columns = mcol
display(df)
da3b75baae0c5dd162db7485f54049f9.png

02 从数据中获取多级索引

第二种情况是我们既有数值数据又有维度数据，此时可以使用透视的方法比如pivot_table,stack,unstack来设置多层级索引。

b01839160fa211ec2a212cf72918484c.png

# pivot_table
pd.pivot_table(df1, index=['城市','大学'],columns=['年份','专业'])
# unstack将行索引最内层连续翻转两次
df1.set_index(['城市','大学','专业','年份']).unstack().unstack()

以上两种方式结果相同，均可从原数据中抽取列维度数据并设置为行列的多级索引。

2、多层级索引筛选

通过MultiIndex访问dataFrame的好处是，可以很容易地一次引用所有层次（可能会省略内部层次），语法简单方便。

这里通过.loc查询方法进行举例。

01列索引筛选

# 筛选列一级索引
df.loc[:,'2023']
df['2023']

# 同时筛选列一二级索引
df.loc[:,('2022','计算机')]
df['2022','计算机']

a67ce190fee33c690be26db8f837fbbd.png

02 行索引筛选

通过.loc可对行、列或单元格进行筛选。

# 同时筛选行一二级索引
df.loc['北京','北大']

# 筛选行一级索引
df.loc['上海']

# 同时筛选行和列一二级索引，得到元素
df.loc[('上海','复旦'),('2022','土木')]

86abb127707f853316fb0d07fb3b53c0.png

3、多层级索引操作

对于多层级索引来说，可以按照不同的level层级有多种的操作，包括了查询、删除、修改、排序、互换、拼接、拆分等。

这些操作对行(index)、列(columns)索引均适用。

01 按层级查询索引

get_level_values可以对指定层级索引查询，level指定层级。

# 按层级获取索引
df.index.get_level_values(level=1) # 查找行的二级索引
df.index.get_level_values(level=0) # 查找行的一级索引
df.columns.get_level_values(level=1) # 查找列的二级索引
df.columns.get_level_values(level=0) # 查找列的一级索引

02 按层级删除索引

droplevel可以对指定层级索引删除，level指定层级。

# 按层级删除索引
df.index.droplevel(level=0) # 删除行一级索引
df.index.droplevel(level=1) # 删除行二级索引
df.columns.droplevel(level=0) # 删除行一级索引
df.columns.droplevel(level=1) # 删除行二级索引

03 按层级修改索引

set_levels可以对指定层级的索引重新设置覆盖原索引，level指定层级。

df.index.set_levels(['北方','南方'], level=0)  # 修改行一级索引
df.index.set_levels(['北交','人大','同济','华东师范'], level=1) # 修改行二级索引
df.columns.set_levels(['2020','2021'], level=0) # 修改列一级索引
df.columns.set_levels(['机械','电子'], level=1) # 修改列二级索引

04 按层级排序索引

sortlevel对索引的不同层级按升降序的方法排序，level指定层级，ascending指定是否升序。

df.index.sortlevel(level=0, ascending=False) # 对行一级索引倒序排序
df.index.sortlevel(level=1, ascending=False) # 对行二级索引倒序排序
df.columns.sortlevel(level=0, ascending=False) # 对列一级索引倒序排序
df.columns.sortlevel(level=1, ascending=False) # 对列二级索引倒序排序

05 索引层级互换

swaplevel对指定的两个索引层级进行互换，比如将2和3互换，1和2互换等等。

df.index.swaplevel(i=0, j=1) # 对行索引层级互换
df.columns.swaplevel(i=0, j=1) # 对行索引层级互换

06 按层级重排索引

reorder_levels函数可以按指定的顺序进行重新排序，order参数可以是整数的level层级或者字符串的索引名，用法如下。

df.index.reorder_levels(order=['大学','城市']) # 指定行索引名称name重排
df.index.reorder_levels(order=[1,0]) # 指定行索引层级level数字重排
df.columns.reorder_levels(order=['专业','年份']) # 指定列索引名称name重排
df.columns.reorder_levels(order=[1,0]) # 指定列索引层级level数字重排

345aae68984a33b1b7a6819e23c5f9d8.png

索引有两个层级时，重排效果和互换一样，只有当索引有三个层级时，重排可以发挥出作用。

07 多级索引拼接

除此外，对于多层级索引而言，我们有时需要将多层级进行拼接，此时我们可以借助to_flat_index函数，它可以将多级索引放在一起（相当于from_tuples的逆操作）。

比如，对列索引进行此操作，得到了元组形式的一二级索引对。

df.columns.to_flat_index()
------
Index([('2022', '计算机'), ('2022', '土木'), ('2023', '计算机'), ('2023', '土木')], dtype='object')

然后再通过python的join字符串拼接用法就实现了索引拼接。

df.columns = ['_'.join(k) for k in df.columns.to_flat_index()]
display(df)

ec2accea4816959157ea0c0cd119bb41.png

08 多级索引拆分

通过split函数将上面列索引拆分成元组，然后利用from_tuples方法创建多层级索引。

df.columns = pd.MultiIndex.from_tuples(k.split('_') for k in df.columns)
display(df)

这样就把上面拼接的结果进行了还原。

c030d380177abc325aa1ef9336d90f71.png

以上是全部内容，原创不易欢迎点点赞。

 
 
6ade2a447479b21b9582d6633ad37f3f.jpeg
 
 
 
 
 
 
 
 
 
 
 
 
往期精彩回顾
 
  


                

        

        

    




    

      

        

            

              
                
                  风度78
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    8
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    32
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      










                



	

		

			

				
					
Python Pandas 高级数据操作 多层索引

				
			

			

				

					weixin_42098295的博客
				

				

					01-11
					
					1362
					
				

			

		

		

			
				
Pandas 中，交叉切片（cross-section）是一种高级的数据操作技术，特别适用于多层索引的场景。通过使用它，可以更精确地选择数据的子集，特别是在处理复杂的数据结构时。当处理多层索引时，可以传递一个元组来指定每层的索引值。可以创建强大的多层索引结构，这在处理和分析具有复杂层次结构的数据时非常有用。布尔值，指定设置索引后是否删除原来的列，默认为 True（删除）。布尔值，用于检查新生成的索引是否有重复项，默认为 False。布尔值，指定是否将新索引添加到现有索引，默认为 False。

			
		

	



                

              
                



	

		

			

				
					
Pandas多级索引Series

				
			

			

				

					weixin_46180339的博客
				

				

					04-11
					
					274
					
				

			

		

		

			
				
Pandas多级索引Series，在实践中，更直观的形式是通过层级索引（hierarchical indexing，也被称为多级索引，multi-indexing)配合多个有不同等级的一级索引一起使用，这样就可以将高维数组转换成类似一维Series和二维DataFrame对象的形式。

			
		

	



                


  
              

                


	

		

			

				
					
Pandas 多层索引操作教程

				
			

			

				

					szwx855的专栏
				

				

					06-13
					
					967
					
				

			

		

		

			
				
本篇和大家介绍pandas中的500页原创图文、数据代码可戳👉《进行了解。我们知道dataframe是一个二维的数据表结构，通常情况下行和列索引都只有一个。但当需要多维度分析时，我们就需要添加多层级索引了。在关系型数据库中也被叫做复合主键。比如，下面这个数据是高考录取分数线，行索引是地区、学校，列索引是年份、专业，分别对应1级和2级索引，因此共有四个维度。

			
		

	





	

		

			

				
					
Pandas多级/分层索引

				
			

			

				

					Java/Python大数据成长之路
				

				

					09-12
					
					833
					
				

			

		

		

			
				
取指定索引的所有列的值。取指定索引指定列的值。

			
		

	



		

			
		



	

		

			

				
					
Python: pandas中多级索引的高级操作讲解

					
热门推荐

				
			

			

				

					anshuai_aw1的博客
				

				

					10-29
					
					2万+
					
				

			

		

		

			
				
Pandas库十分强大，在之前的文章中我已经介绍过了切片操作iloc, loc和ix，本篇文章主要介绍针对多级索引的高级操作。本质上与单级索引的操作相同，但是要注意一些语法的格式。

一、在Multiindex中使用loc

我们先建立一个多级索引的Dataframe:


import numpy as np
import pandas as pd
arrays = [np.array(['ba...

			
		

	





	

		

			

				
					
Pandas 2 使用指南：多级索引 / 高级索引

				
			

			

				

					数智笔记
				

				

					02-03
					
					1365
					
				

			

		

		

			
				
MultiIndex保留索引的所有定义的层级，即使它们实际上没有被使用。当对索引进行切片时，您可能会注意到这一点。df.columns.levels # 原始的 MultiIndexdf[["foo","qux"]].columns.levels # 切片后这样做是为了避免重新计算层级以提高切片的性能。如果您只想看到使用的层级，可以使用 get_level_values()方法。Out[31]:# 对于特定层级要使用仅使用的层级重建MultiIndex。

			
		

	





	

		

			

				
					
python Pandas 多级索引转DataFrame

				
			

			

				

					hxfjargon的博客
				

				

					03-12
					
					231
					
				

			

		

		

			
				
pythonPandas多级索引转DataFrame

			
		

	





	

		

			

				
					
Pandas多级索引的取值与切片

				
			

			

				

					weixin_46180339的博客
				

				

					04-13
					
					1495
					
				

			

		

		

			
				
Pandas多级索引的取值与切片。对MultiIndex的取值和切片操作很直观，你可以直接把索引看成额外增加的维度。我们先来介绍Series多级索引的取值与切片方法，再介绍DataFrame的用法。多级索引的数据交互方法有很多，只介绍Series的6种和DataFrame的4种。

			
		

	





	

		

			

				
					
Python pandas多层次索引降级为单层索引

				
			

			

				

					爱吃干脆面的小潘
				

				

					08-20
					
					5448
					
				

			

		

		

			
				
在Pandas中使用pivot_table做聚合运算后，计算出来的结果具有多层次索引。
import pandas as pd
sku_store=data10.pivot_table(index=["item_num","vender_name"],columns="period",values=["store_name"],aggfunc=["count"])

sku_store=sku_store.reset_index()


如下所示，这是一个三层结构的索引

接下来我们给这个三层索引降级为单层

			
		

	





	

		

			

				
					
[Python3] Pandas —— (三) 层级索引

				
			

			

				

					12-21
				

			

		

		

			
				
相比之下，Pandas提供了更高效的多级索引（MultiIndex）类型。你可以直接用`pd.MultiIndex.from_tuples()`函数创建多级索引，并通过`.levels`和`.codes`属性访问索引的各个级别。此外，使用`reindex()`方法可以将...

			
		

	





	

		

			

				
					
Python3.5 Pandas模块缺失值处理和层次索引实例详解

				
			

			

				

					09-19
				

			

		

		

			
				
可以通过`pd.MultiIndex.from_product`函数创建一个多级索引。 ```python import pandas as pd  index = pd.MultiIndex.from_product([['A', 'B'], ['a', 'b']], names=['first', 'second']) df = pd.DataFrame({'...

			
		

	





	

		

			

				
					
详解python pandas 分组统计的方法

				
			

			

				

					09-18
				

			

		

		

			
				
运行上述代码后，我们得到了一个多级索引的Series，显示了A和B列所有可能组合的出现次数。如果希望将结果转换为DataFrame格式，可以继续执行以下操作：  ```python # 将Series转换为DataFrame，并重置索引，将原始...

			
		

	





	

		

			

				
					
Python数据分析实践：pandas的索引处理new.pdf

				
			

			

				

					06-14
				

			

		

		

			
				
- `level`参数用于多级索引时指定要对哪一级进行重索引。  - `limit`参数限制了使用`method`进行填充时的连续缺失值数量。  - `tolerance`参数允许设置一个浮点数，用于在匹配索引时的容差值，这在处理时间序列数据...

			
		

	





	

		

			

				
					
Chapter 18 Python异常

				
			

			

				

					2302_80253507的博客
				

				

					07-28
					
					1309
					
				

			

		

		

			
				
在Python中，异常是一种特定的对象，能够在程序运行过程中被抛出和处理。有效地管理异常不仅可以增强程序的稳定性，还可以提高用户体验，使程序能够优雅地处理错误情况。本章详细讲解了异常的基本概念以及如何捕获和处理异常。

			
		

	





	

		

			

				
					
python字符串数据容器练习（replace,split,count）

					
最新发布

				
			

			

				

					2301_79600015的博客
				

				

					07-31
					
					392
					
				

			

		

		

			
				
Python字符串是由一系列字符组成的数据类型。在Python中，字符串是不可变的，这意味着一旦创建了一个字符串，就不能修改它的内容。以下是关于Python字符串的一些重要知识点：1. 字符串的基本操作：拼接字符串：使用`+`运算符。重复字符串：使用`*`运算符。索引和切片：使用`[]`和`:`操作符访问字符串中的子串。长度：使用`len()`函数获取字符串长度。转换大小写：使用`upper()`和`lower()`方法。分割和连接：使用`split()`和`join()`方法。

			
		

	





	

		

			

				
					
loguru日志模块：简化Python自动化测试的日志管理！

				
			

			

				

					
				

				

					07-29
					
					825
					
				

			

		

		

			
				
日志是软件开发中的关键组成部分，为开发和测试人员提供了调试和监控应用程序的重要手段。loguru 是一个第三方的 Python 日志库，以其简洁的 API 和自动化的功能脱颖而出。本文将探讨为什么项目中需要日志，loguru 为何受到青睐，以及如何封装和在接口自动化测试项目中使用 loguru，同时结合 Allure 生成丰富的测试报告。

			
		

	





	

		

			

				
					
python多级索引

				
			

			

				

					08-12
				

			

		

		

			
				
在Python中，你可以使用多级索引来处理具有多个维度的数据。多级索引允许你在DataFrame或Series对象中使用多个不同的索引级别来访问和操作数据。

在Pandas库中，你可以使用`MultiIndex`对象来创建多级索引。下面是一个简单的示例：

```python
import pandas as pd

# 创建一个具有多级索引的DataFrame
data = {
    'A': [1, 2, 3, 4, 5],
    'B': [6, 7, 8, 9, 10],
    'C': [11, 12, 13, 14, 15]
}
index = pd.MultiIndex.from_tuples([('Group1', 'Index1'), ('Group1', 'Index2'), ('Group2', 'Index1'), ('Group2', 'Index2'), ('Group2', 'Index3')])
df = pd.DataFrame(data, index=index)

# 访问和操作多级索引的数据
print(df.loc['Group1'])  # 访问Group1的所有行
print(df.loc[('Group1', 'Index1')])  # 访问特定的行
print(df.loc[:, 'A'])  # 访问A列的所有数据
print(df.loc[('Group2', 'Index1'), 'B'])  # 访问特定的行和列

# 修改多级索引的标签
df.index.set_levels(['NewGroup1', 'NewGroup2'], level=0, inplace=True)
print(df)

```

在这个示例中，我们创建了一个具有两个级别的多级索引的DataFrame。我们使用`loc`方法来访问和操作多级索引的数据。你可以使用不同的索引级别和标签来选择特定的行和列，甚至修改多级索引的标签。

希望这个例子能够帮助你理解如何使用Python处理多级索引的数据。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值