选择 DataFrame 列的方法大全

最新推荐文章于 2024-04-22 02:50:44 发布
最新推荐文章于 2024-04-22 02:50:44 发布
阅读量6.3k 收藏 20
点赞数 2
分类专栏： Python pandas 文章标签： python 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_32570141/article/details/109989215
版权

因 457079928 python草堂群，网友 @星河·璀动 问到pandas选择数据列的问题，故把自己的学习总结的笔记整理出来。

完整的ipynb文件，和文中示例数据请移步python草堂群下载。

注意：这些方法返回的都是视图。

  1. 如果你确信原始数据的一些列是无用的，可以在删除这些列后，创建 DataFrame 的一个 .copy(deep=True)，然后删除原 DataFrame, 以节省内存；
  2. 如果列不是很多，在导入数据时就排除这些列。

选择列的两种思路

  1. 需要的列较少，直接选择需要的列；
  2. 不需要的列较少，删除或排除不要的列。
import numpy as np
import pandas as pd
import pprint as pp

baseball_df = pd.read_csv('baseball.csv',index_col='No.')

pp.pprint(baseball_df)

              id  year  stint team   lg    g   ab   r    h  X2b  ...   rbi  \
No.                                                              ...         
4      ansonca01  1871      1  RC1  NaN   25  120  29   39   11  ...  16.0   
44     forceda01  1871      1  WS3  NaN   32  162  45   45    9  ...  29.0   
68     mathebo01  1871      1  FW1  NaN   19   89  15   24    3  ...  10.0   
99     startjo01  1871      1  NY2  NaN   33  161  35   58    5  ...  34.0   
102    suttoez01  1871      1  CL1  NaN   29  128  35   45    3  ...  23.0   
...          ...   ...    ...  ...  ...  ...  ...  ..  ...  ...  ...   ...   
89525  benitar01  2007      2  FLO   NL   34    0   0    0    0  ...   0.0   
89526  benitar01  2007      1  SFN   NL   19    0   0    0    0  ...   0.0   
89530  ausmubr01  2007      1  HOU   NL  117  349  38   82   16  ...  25.0   
89533   aloumo01  2007      1  NYN   NL   87  328  51  112   19  ...  49.0   
89534  alomasa02  2007      1  NYN   NL    8   22   1    3    1  ...   0.0   

        sb   cs  bb    so  ibb  hbp   sh   sf  gidp  
No.                                                  
4      6.0  2.0   2   1.0  NaN  NaN  NaN  NaN   NaN  
44     8.0  0.0   4   0.0  NaN  NaN  NaN  NaN   NaN  
68     2.0  1.0   2   0.0  NaN  NaN  NaN  NaN   NaN  
99     4.0  2.0   3   0.0  NaN  NaN  NaN  NaN   NaN  
102    3.0  1.0   1   0.0  NaN  NaN  NaN  NaN   NaN  
...    ...  ...  ..   ...  ...  ...  ...  ...   ...  
89525  0.0  0.0   0   0.0  0.0  0.0  0.0  0.0   0.0  
89526  0.0  0.0   0   0.0  0.0  0.0  0.0  0.0   0.0  
89530  6.0  1.0  37  74.0  3.0  6.0  4.0  1.0  11.0  
89533  3.0  0.0  27  30.0  5.0  2.0  0.0  3.0  13.0  
89534  0.0  0.0   0   3.0  0.0  0.0  0.0  0.0   0.0  

[21699 rows x 22 columns]

方法一：直接指定需要的列

pp.pprint(baseball_df.query('g>50')[['year','g','ab','r','h']])

       year    g   ab   r    h
No.                           
249    1872   55  282  62   76
268    1872   51  248  66   66
276    1873   52  254  53  101
293    1873   55  245  56   62
344    1873   52  223  40   43
...     ...  ...  ...  ..  ...
89499  2007   69  189  23   48
89521  2007  126  340  75   94
89523  2007  141  517  68  130
89530  2007  117  349  38   82
89533  2007   87  328  51  112

[11704 rows x 5 columns]

方法二：获取需要的列名列表

使用列表推导排除不需要的列

cols = [i for i in baseball_df.columns if i not in ['id', 'ibb','gidp','X2b','X3b','lg']]

baseball_df[cols]
yearstintteamgabrhhrrbisbcsbbsohbpshsf
No.
418711RC1251202939016.06.02.021.0NaNNaNNaN
4418711WS3321624545029.08.00.040.0NaNNaNNaN
6818711FW119891524010.02.01.020.0NaNNaNNaN
9918711NY2331613558134.04.02.030.0NaNNaNNaN
10218711CL1291283545323.03.01.010.0NaNNaNNaN
...................................................
8952520072FLO3400000.00.00.000.00.00.00.0
8952620071SFN1900000.00.00.000.00.00.00.0
8953020071HOU1173493882325.06.01.03774.06.04.01.0
8953320071NYN87328511121349.03.00.02730.02.00.03.0
8953420071NYN8221300.00.00.003.00.00.00.0

21699 rows × 16 columns

baseball_df.query('g>100.0')[cols]
yearstintteamgabrhhrrbisbcsbbsohbpshsf
No.
198818841LS2103447101150447.00.0NaN13NaN2.0NaNNaN
198918841CL510745193123532.00.0NaN24NaN4.0NaNNaN
205318841LS21064043989040.00.0NaN13NaN5.0NaNNaN
208218841CN2112472117148771.00.0NaN37NaN10.0NaNNaN
210218841SL411047411513010.00.0NaN18NaN6.0NaNNaN
...................................................
8948120071SLN11736539921253.00.02.04175.00.02.03.0
8948920071NYN139538711392487.04.00.052118.011.00.06.0
8952120071SFN12634075942866.05.00.013254.03.00.02.0
8952320071HOU141517681301050.04.03.023112.03.07.05.0
8953020071HOU1173493882325.06.01.03774.06.04.01.0

7554 rows × 16 columns

#也可以这样：

baseball_df[cols].query('g>100')
yearstintteamlggabrhhrrbisbcsbbsohbpshsf
No.
198818841LS2AA103447101150447.00.0NaN13NaN2.0NaNNaN
198918841CL5AA10745193123532.00.0NaN24NaN4.0NaNNaN
205318841LS2AA1064043989040.00.0NaN13NaN5.0NaNNaN
208218841CN2AA112472117148771.00.0NaN37NaN10.0NaNNaN
210218841SL4AA11047411513010.00.0NaN18NaN6.0NaNNaN
......................................................
8948120071SLNNL11736539921253.00.02.04175.00.02.03.0
8948920071NYNNL139538711392487.04.00.052118.011.00.06.0
8952120071SFNNL12634075942866.05.00.013254.03.00.02.0
8952320071HOUNL141517681301050.04.03.023112.03.07.05.0
8953020071HOUNL1173493882325.06.01.03774.06.04.01.0

7554 rows × 17 columns

使用difference方法返回索引的差集

baseball_df.columns

Index(['id', 'year', 'stint', 'team', 'lg', 'g', 'ab', 'r', 'h', 'X2b', 'X3b',
       'hr', 'rbi', 'sb', 'cs', 'bb', 'so', 'ibb', 'hbp', 'sh', 'sf', 'gidp'],
      dtype='object')

cols = baseball_df.columns.difference(['ibb','gidp','X2b','X3b','id'],sort=False) 
#sort=False，否则返回的df的columns会重新排序

cols

Index(['year', 'stint', 'team', 'lg', 'g', 'ab', 'r', 'h', 'hr', 'rbi', 'sb',
       'cs', 'bb', 'so', 'hbp', 'sh', 'sf'],
      dtype='object')

baseball_df.query('g>100.0')[cols]
yearstintteamlggabrhhrrbisbcsbbsohbpshsf
No.
198818841LS2AA103447101150447.00.0NaN13NaN2.0NaNNaN
198918841CL5AA10745193123532.00.0NaN24NaN4.0NaNNaN
205318841LS2AA1064043989040.00.0NaN13NaN5.0NaNNaN
208218841CN2AA112472117148771.00.0NaN37NaN10.0NaNNaN
210218841SL4AA11047411513010.00.0NaN18NaN6.0NaNNaN
......................................................
8948120071SLNNL11736539921253.00.02.04175.00.02.03.0
8948920071NYNNL139538711392487.04.00.052118.011.00.06.0
8952120071SFNNL12634075942866.05.00.013254.03.00.02.0
8952320071HOUNL141517681301050.04.03.023112.03.07.05.0
8953020071HOUNL1173493882325.06.01.03774.06.04.01.0

7554 rows × 17 columns

pp.pprint(baseball_df)

              id  year  stint team   lg    g   ab   r    h  X2b  ...   rbi  \
No.                                                              ...         
4      ansonca01  1871      1  RC1  NaN   25  120  29   39   11  ...  16.0   
44     forceda01  1871      1  WS3  NaN   32  162  45   45    9  ...  29.0   
68     mathebo01  1871      1  FW1  NaN   19   89  15   24    3  ...  10.0   
99     startjo01  1871      1  NY2  NaN   33  161  35   58    5  ...  34.0   
102    suttoez01  1871      1  CL1  NaN   29  128  35   45    3  ...  23.0   
...          ...   ...    ...  ...  ...  ...  ...  ..  ...  ...  ...   ...   
89525  benitar01  2007      2  FLO   NL   34    0   0    0    0  ...   0.0   
89526  benitar01  2007      1  SFN   NL   19    0   0    0    0  ...   0.0   
89530  ausmubr01  2007      1  HOU   NL  117  349  38   82   16  ...  25.0   
89533   aloumo01  2007      1  NYN   NL   87  328  51  112   19  ...  49.0   
89534  alomasa02  2007      1  NYN   NL    8   22   1    3    1  ...   0.0   

        sb   cs  bb    so  ibb  hbp   sh   sf  gidp  
No.                                                  
4      6.0  2.0   2   1.0  NaN  NaN  NaN  NaN   NaN  
44     8.0  0.0   4   0.0  NaN  NaN  NaN  NaN   NaN  
68     2.0  1.0   2   0.0  NaN  NaN  NaN  NaN   NaN  
99     4.0  2.0   3   0.0  NaN  NaN  NaN  NaN   NaN  
102    3.0  1.0   1   0.0  NaN  NaN  NaN  NaN   NaN  
...    ...  ...  ..   ...  ...  ...  ...  ...   ...  
89525  0.0  0.0   0   0.0  0.0  0.0  0.0  0.0   0.0  
89526  0.0  0.0   0   0.0  0.0  0.0  0.0  0.0   0.0  
89530  6.0  1.0  37  74.0  3.0  6.0  4.0  1.0  11.0  
89533  3.0  0.0  27  30.0  5.0  2.0  0.0  3.0  13.0  
89534  0.0  0.0   0   3.0  0.0  0.0  0.0  0.0   0.0  

[21699 rows x 22 columns]

删除不需要的列

pp.pprint(baseball_df.drop(['ibb','gidp','X2b','X3b','id','lg'],axis=1))

       year  stint team    g   ab   r    h  hr   rbi   sb   cs  bb    so  hbp  \
No.                                                                             
4      1871      1  RC1   25  120  29   39   0  16.0  6.0  2.0   2   1.0  NaN   
44     1871      1  WS3   32  162  45   45   0  29.0  8.0  0.0   4   0.0  NaN   
68     1871      1  FW1   19   89  15   24   0  10.0  2.0  1.0   2   0.0  NaN   
99     1871      1  NY2   33  161  35   58   1  34.0  4.0  2.0   3   0.0  NaN   
102    1871      1  CL1   29  128  35   45   3  23.0  3.0  1.0   1   0.0  NaN   
...     ...    ...  ...  ...  ...  ..  ...  ..   ...  ...  ...  ..   ...  ...   
89525  2007      2  FLO   34    0   0    0   0   0.0  0.0  0.0   0   0.0  0.0   
89526  2007      1  SFN   19    0   0    0   0   0.0  0.0  0.0   0   0.0  0.0   
89530  2007      1  HOU  117  349  38   82   3  25.0  6.0  1.0  37  74.0  6.0   
89533  2007      1  NYN   87  328  51  112  13  49.0  3.0  0.0  27  30.0  2.0   
89534  2007      1  NYN    8   22   1    3   0   0.0  0.0  0.0   0   3.0  0.0   

        sh   sf  
No.              
4      NaN  NaN  
44     NaN  NaN  
68     NaN  NaN  
99     NaN  NaN  
102    NaN  NaN  
...    ...  ...  
89525  0.0  0.0  
89526  0.0  0.0  
89530  4.0  1.0  
89533  0.0  3.0  
89534  0.0  0.0  

[21699 rows x 16 columns]

使用 filter 方法

baseball_df.filter(items=['year','g'])
yearg
No.
4187125
44187132
68187119
99187133
102187129
.........
89525200734
89526200719
895302007117
89533200787
8953420078

21699 rows × 2 columns

baseball_df.filter(regex='b$') #选择列名中包含b 的列
abX2bX3bsbbbibb
No.
41201136.02NaN
44162948.04NaN
6889312.02NaN
99161514.03NaN
102128373.01NaN
.....................
895250000.000.0
895260000.000.0
895303491636.0373.0
895333281913.0275.0
8953422100.000.0

21699 rows × 6 columns

baseball_df.filter(like='ea')
yearteam
No.
41871RC1
441871WS3
681871FW1
991871NY2
1021871CL1
.........
895252007FLO
895262007SFN
895302007HOU
895332007NYN
895342007NYN

21699 rows × 2 columns
Python草堂
关注
  • 2
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Python pandas中DataFrame添加列、获取行列、获取元素值
liveshow021_jxb的博客
01-27 8022
一、DataFrame添加列 直接通过赋值为空，添加一列。 >>> import pandas as pd >>> df = pd.DataFrame(np.arange(12).reshape(3, 4), index = ['row1', 'row2', 'row3'], columns=['col1', 'col2', 'col3', 'col4']) >>> df col1 col2 col3 col4 row1
chatgpt赋能python：Python如何选取某几列？
a058046的博客
06-18 3228
本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。
【数据处理包Pandas】DataFrame数据选择的基本方法
最新发布
2401_83817689的博客
04-22 816
sample(n)
DataFrame的基本用法
Billie使劲学的博客
11-06 4860
定义一个空的DataFramedf = pd.DataFrame(data=None,columns=range(1,5),index=[0,1]) # 从列表定义,定义列名和行名dfdf = pd.DataFrame(columns={"a":"","b":""},index=[0,1,2]) #从字典定义df。
DataFrame 的访问：[]选择列，[[]]选择多列，loc[]选择行，loc[[]]选择多行，iloc[],at[]，iat[]，ix[]，loc[]行列切片，布尔选择
ycyrym的博客
03-25 2万+
http://liao.cpython.org/pandas10/ []选择列：DataFrame使用了[ ]则是选择了一个字段所有数据即一列，而Series则是会得到某行的数据。 val = np.arange(10,40).reshape(10,3) idx = 'ax bx cx'.split() df1 = pd.DataFrame(val,columns = idx) df1['a...
Python Pandas DataFrame取列
wwwddd777的博客
12-09 3万+
Python Pandas DataFrame取列 1.取一列 首先我们建立一个dataframe结构：df >>> import numpy as np >>> import pandas as pd >>> dfd = {11:["a","b","c"],22:["d","e","f"],33:["g","h","i"]} >>> df = pd.DataFrame(dfd) 得到如下，列名为11，22，33的一个3*3矩阵 &g
根据DataFrame某一列的值来选择具体的某一行方法
01-20
总结：选择DataFrame里面某一列等于某个值的所有行，用一条命令即可解决即： df.loc[df['columnName']=='the value'] 以上这篇根据DataFrame某一列的值来选择具体的某一行方法就是小编分享给大家的全部内容了，...
pandas对dataFrame中某一个列的数据进行处理的方法
09-19
在Python的Pandas库中，DataFrame是用于存储二维表格型数据的数据结构，它提供了丰富的功能来处理和分析...在实际工作中，可以根据具体需求选择合适的方法对数据进行预处理，为后续的数据分析和建模打下坚实的基础。
pandas DataFrame创建方法的方式
09-18
- **选择列**：可以通过`columns`参数选择字典中的一部分键作为DataFrame的列： ```python test_dict_df = pd.DataFrame(data=test_dict, columns=['id','name']) ``` 2. **CSV文件构建DataFrame** CSV文件是...
用pandas中的DataFrame时选取行或列的方法
12-24
如下所示： import numpy as np ...data['w'] #选择表格中的'w'列，使用类字典属性,返回的是Series类型 data.w #选择表格中的'w'列，使用点属性,返回的是Series类型 data[['w']] #选择表格中的'w'
python dataframe索引字段相同的合并_Pandas DataFrame-将具有相同索引的列的值合并到lis中...
weixin_39760619的博客
12-19 3321
我在这个问题上讨论了一段时间，但没有结果。这几乎是at least one other question on here的复制品，但我不太明白如何从网上的相关答案中找到我想要的东西。我有一个Pandas数据框(我们称之为df)，看起来像：Name Value Value2'A' '8.8.8.8' 'x''B' '6.6.6.6' 'y''A' ...
python dataframe索引字段相同的合并_Pandas DataFrame-将具有相同索引的一列值组合到列表中...
weixin_39545805的博客
12-19 1208
I've been at this issue for awhile to no avail. This is almost a duplicate of at least one other question on here, but I can't quite figure out how to do exactly what I'm looking for from related answ...
pandas----difference()
suixuejie的博客
09-07 5457
difference('column_name')#得到dataframe中除column_name之外的所有变量 wine[wine.columns.difference(['quality', 'type', 'is_sample'])].columns
pandas DataFrame行列操作使用方法
kevin_7july的博客
02-26 2639
df['w'] #选择表格中的'w'列，使用类字典属性,返回的是Series类型 df.w #选择表格中的'w'列，使用点属性,返回的是Series类型 df[['w']] #选择表格中的'w'列，返回的是DataFrame类型 df[['w','z']] #选择表格中的'w'、'z'列 df[0:2] #返回第1行到第2行的所有行，前闭...
如何从DataFrame中选择一列数据
缘 源 园
02-09 1897
查看数据 import pandas as pd movie= pd.read_csv('movie.csv') movie.head() Rank Title Genre Description Director ... Runtime (Minutes) Rating Votes Revenue (Millions) Metascore 0 1 Guardians of the Galaxy Action,Adven
pandas将DataFrame的列变成行索引
修炼之路
01-11 3万+
pandas提供了set_index方法可以将DataFrame的列（多列）变成行索引，通过reset_index方法可以将层次化索引的级别会被转移到列里面。 1、DataFrame的set_index方法 data = pd.DataFrame(np.arange(1,10).reshape(3,3),index=["a","b","c"],columns=["A","B","C"]
利用Pandas操作DataFrame的列与行
lsxxx2011的专栏
10-10 838
介 绍 本章介绍DataFrame的许多基本操作。许多秘笈与第1章“Pandas基础”中的秘笈相似，只不过第1章主要讨论的是Series的操作。选择多个DataFrame列 可以通过将列名称传递给DataFrame的索引操作符来选择单个列。本书1.6节“选择列”对此已有介绍。一般来说，分析人员需要关注和处理的是当前工作数据集的一个子集，而这正是通过选择多个列来获得的。在此秘笈中，我们将从mo...
python中dataframe常见操作：取行、列、切片、统计特征值
热门推荐
tanlangqie的博客
11-28 25万+
python中dataframe常见操作：取行数、列数、切片、统计特征值
pandas中Dataframe选取指定行和列或删除含有指定数值的行或者列
wf592523813的博客
07-17 7万+
pandas中的切片方法 [],loc,iloc,at,iat,ix 基础数据 import pandas as pd import random random.seed(0) rnd_1 = [random.randrange(1,20) for x in range(10)] rnd_2 = [random.randrange(1,20) for x in range(10)] rnd_3 =...
DataFrame 选择列
07-08
在Python中，可以使用pandas库中的DataFrame对象来添加列。具体步骤如下： 1. 创建一个DataFrame对象，可以使用pandas库中的read_csv()函数从CSV文件中读取数据，也可以手动创建一个DataFrame对象。 2. 使用DataFrame对象的assign()方法来添加新列，该方法接受一个字典作为参数，字典的键为新列的名称，值为新列的数据。 3. 使用DataFrame对象的insert()方法来插入新列，该方法接受三个参数，第一个参数为新列的位置，第二个参数为新列的名称，第三个参数为新列的数据。 例如，以下代码演示了如何在DataFrame对象中添加新列： ``` import pandas as pd # 创建一个DataFrame对象 data = {'name': ['Alice', 'Bob', 'Charlie', 'David'], 'age': [25, 30, 35, 40]} df = pd.DataFrame(data) # 使用assign()方法添加新列 df = df.assign(gender=['F', 'M', 'M', 'M']) # 使用insert()方法插入新列 df.insert(2, 'salary', [50000, 60000, 70000, 80000]) print(df) ``` 输出结果为： ``` name age salary gender Alice 25 50000 F 1 Bob 30 60000 M 2 Charlie 35 70000 M 3 David 40 80000 M ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Python草堂

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值