「Python｜Pandas｜场景案例」如何只保留DataFrame数据集的某些列（要保留的列不固定）

本文主要介绍在使用pandas进行数据分析过程中的数据预处理时，如果希望仅保留某些列的数据需要如何操作。同时介绍一些特殊情况，比如列是用变量存储；或者列是一个全集，处理的数据集中不一定包括列出的全部列名。

场景说明

在数据处理的时候，可能会遇到数据集包含的数据字段并不是全部会用到，甚至有些用不到的字段内容较多，在存储上会占用较多空间，在读取和使用上可能会影响性能，所以需要考虑丢弃用不到的字段，仅保留需要使用的字段。
同时，我们可能遇到一些稍微复杂一点的场景，比如：

• 你想写一套通用程序来处理不同数据集。这些数据集对应相同类型但是不同场景，所以要使用的字段可能是作为变量传入的
• 你使用的数据集因为业务发生变化或者扩展到多个业务场景，不同场景使用同一个数据集，但使用到的字段集合不同
• 你使用的数据集来自爬虫，爬取的数据源网站会不断改版，能获取的到的数据字段可能发生变化

这就要求能够使用变量存储要使用的字段，同时数据集中的字段就算没有包含全部指定字段，也不能抛出KeyError之类的处理错误。

解决方案

基本使用

假设我们的数据集有四列，分别是col_1, col_2, col_3, col_4
python数据分析的预处理过程中常用的是pandas库，pandas库中对这种保留指定列/丢弃指定列有对应的写法和函数：

• 只保留两列 col_1 和 col_2
df = df[['col_1', 'col_2']]
• 丢弃col_3这一列
  df = df.drop(['col_3', 'col_4'], axis=1)

加入变量

用变量把字段集合存储起来就可以改成：

fileds_to_use = ['col_1', 'col_2']

# 只保留两列 `col_1` 和 `col_2` 
df = df[ fileds_to_use ]

# 丢弃`col_3`这一列
fields_to_drop = set(df.columns) - set(fileds_to_use)
df = df.drop(fields_to_drop, axis=1)

考虑数据集没有包含全部目标字段的情况

如果我们的数据集字段只有col_1, col_3, col_4三列，我们要使用的还是col_1, col_2两列，那么：

• 尝试drop用不到的col_3和col_4不会出错
• 但是尝试用df[ fileds_to_use ]会因为数据集里没有col_2而抛出KeyError: "['col_2'] not in index"的错误

解决这个问题本质上就是加一层检查，只有字段在数据集包含的列名中，才进行保留，可以自己写，也可以调用pandas的函数，如下：

# 自己写一个过滤
fileds_to_use  = ['col_1', 'col_2']
fileds_set = set(fileds_to_use)
column_to_use = [column for column in df.columns if column in fileds_set]
df = df[ column_to_use ]

# 调用 pandas 的函数
column_to_use = df.columns[ df.columns.isin(fileds_to_use) ]
df = df[ column_to_use  ]

# 因为 pandas 还有取反操作，所以额外说一下drop可以有下面这种写法
column_to_drop = df.columns[ ~df.columns.isin(fileds_to_use) ]
df = df.drop(column_to_drop, axis=1)

以上就是根据变量值保留数据集某些列的做法，挑选一种自己喜欢的写法即可。

好书推荐：

• 流畅的python
• Python编程 从入门到实践 第2版
• Python数据结构与算法分析 第2版

好课推荐：

• 零基础学python
• python核心技术与实战
• python自动化办公实战

写文不易，如果对你有帮助的话，来一波点赞、收藏、关注吧~👇