pandas常见用法总结：数据筛选，过滤，插入，删除，排序，分组聚合等

bitcarmanlee

已于 2023-01-11 11:37:59 修改

阅读量2.8k

点赞数 4

分类专栏： python 文章标签： pandas 数据筛选过滤插入求占比

于 2023-01-10 17:42:33 首次发布

本文链接：https://blog.csdn.net/bitcarmanlee/article/details/128615567

版权

python 专栏收录该内容

81 篇文章 15 订阅

订阅专栏

pandas里面的用法相对非常灵活，经常会有一种需求可以采用多种方式实现的情况。为了方便查找与记忆，特此对pandas里面常见的一些用法

1.选择指定列

选择指定列是常见的需求，同样的实现方式也非常多。

1.1 pd.read_csv

常用的pd.read_csv方法，如果文件中包含有表头信息，可以直接读取指定列。

pd.read_csv("file",  header=0, usecols=['c1', 'c2', 'c3'])

1.2 pd.DataFrame

可以使用pd.DataFrame重新构建一个新的dataframe

c1 = ['a', 'b', 'c', 'd']
c2 = [1, 2, 3, 4]
c3 = ['0.1', '0.3', '0.5', '0.7']

data = pd.DataFrame({'c1': c1, 'c2': c2, 'c3': c3})
newdata = pd.DataFrame(data, columns=['c1', 'c2'])
print(newdata)

1.3 中括号索引

data = pd.DataFrame({'c1': c1, 'c2': c2, 'c3': c3})
newdata = data[['c1', 'c2']]
print(newdata)

1.4 loc方法

data = pd.DataFrame({'c1': c1, 'c2': c2, 'c3': c3})
newdata = data.loc[:, ['c1', 'c2']]
print(newdata)

5.iloc方法

data = pd.DataFrame({'c1': c1, 'c2': c2, 'c3': c3})
newdata = data.iloc[:, [0, 1]]
print(newdata)

2.根据列内元素过滤数据

根据列中元素过滤数据，平时也使用非常多。下面我们看看如何根据列中元素来过滤数据。

2.1 根据[]过滤数据

pandas中[]是一个boolean表达式，[]里面被计算为true的行都会被选取，可以用来过滤数据。

c1 = ['a', 'a', 'c', 'd']
c2 = [1, 2, 3, 4]
c3 = ['0.1', '0.3', '0.5', '0.7']

data = pd.DataFrame({'c1': c1, 'c2': c2, 'c3': c3})
data1 = data[data.c1=='a']
print(data1)
print()

data2 = data[data.c2 > 2]
print(data2)
print()

data1用来选择c1列值为a的行
data2用来选择c2列值大于2的行。
最后的结果为

  c1  c2   c3
0  a   1  0.1
1  a   2  0.3

  c1  c2   c3
2  c   3  0.5
3  d   4  0.7

先选取前面三行，再根据c2列过滤

data_head = data.loc[0:2]
data3 = data_head[data_head.c2 < 3]
print(data3)
print()

  c1  c2   c3
0  a   1  0.1
1  a   2  0.3

还可以使用apply方法，构造一个返回值为true的更复杂的过滤方法：

data4 = data[data.apply(lambda x: x.c2 < 10 * float(x.c3), axis=1)]
print(data4)
print()

  c1  c2   c3
1  a   2  0.3
2  c   3  0.5
3  d   4  0.7

2.2 使用isin过滤

isin方法也可以对列进行过滤，方法名就说明了他是做啥的，不解释。

data5 = data[data.c1.isin(['a'])]
print(data5)

  c1  c2   c3
0  a   1  0.1
1  a   2  0.3

3.删除数据

删除数据可以使用drop方法。

最常见的为删除某一列，示例如下

c1 = ['a', 'a', 'c', 'd']
c2 = [1, 2, 3, 4]
c3 = ['0.1', '0.3', '0.5', '0.7']

data = pd.DataFrame({'c1': c1, 'c2': c2, 'c3': c3})

data.drop('c3', axis=1)
print(data)
print()

  c1  c2   c3
0  a   1  0.1
1  a   2  0.3
2  c   3  0.5
3  d   4  0.7

如果想要在原数据上直接删除，可以将inplace参数设置为True。

data.drop('c3', axis=1, inplace=True)
print(data)
print()

axis=1指定为按列操作。如果想删除几行，将该参数去掉，默认就是axis=0，按行删除。

data.drop([0, 1], axis=0, inplace=True)
print(data)
print()

  c1  c2
2  c   3
3  d   4

4.插入数据

有的时候我们需要在现有数据中插入数据。下面我们按行与列的方式来分情况讨论。

4.1 按列插入

import pandas as pd

c1 = ['a', 'a', 'c', 'd']
c2 = [1, 2, 3, 4]
c3 = ['0.1', '0.3', '0.5', '0.7']

data = pd.DataFrame({'c1': c1, 'c2': c2, 'c3': c3})


# 在最后插入一列
data.insert(data.shape[1], 'c4', [10, 20, 30, 40])
print(data)
print()

# 在最前面插入一列
data.insert(0, 'c0', ['a0', 'a1', 'a2', 'a3'])
print(data)
print()

# 将c3列插入到最前面
data.insert(0, 'c3', data.pop('c3'))
print(data)

insert方法可以方便用来插入行列数据，具体使用方式为insert(columnindex, columnname, data)。
data.insert(0, 'c3', data.pop('c3')) 是将c3列删除，然后插入到最前面。
pop方法与drop方法的不同在于，pop只能删除指定的列，并且会返回Series，所以我们才能使用insert方法继续插入被pop的Series。而drop可以删除指定的行或者列，默认删除行，并且方法无返回值，可以通过axis=1指定删除列。

代码运行的最后结果为

  c1  c2   c3  c4
0  a   1  0.1  10
1  a   2  0.3  20
2  c   3  0.5  30
3  d   4  0.7  40

   c0 c1  c2   c3  c4
0  a0  a   1  0.1  10
1  a1  a   2  0.3  20
2  a2  c   3  0.5  30
3  a3  d   4  0.7  40

    c3  c0 c1  c2  c4
0  0.1  a0  a   1  10
1  0.3  a1  a   2  20
2  0.5  a2  c   3  30
3  0.7  a3  d   4  40

4.2 交换两列位置

如果我们想交换两列的位置，比如将c1, c3列互换位置，可以按如下操作。

c1 = ['a', 'a', 'c', 'd']
c2 = [1, 2, 3, 4]
c3 = ['0.1', '0.3', '0.5', '0.7']

data = pd.DataFrame({'c1': c1, 'c2': c2, 'c3': c3})

print(data)
print()
data[['c1', 'c3']] = data[['c3', 'c1']]
print(data)
print()
data.rename(columns={'c1': 'c3', 'c3': 'c1'}, inplace=True)
print(data)

  c1  c2   c3
0  a   1  0.1
1  a   2  0.3
2  c   3  0.5
3  d   4  0.7

    c1  c2 c3
0  0.1   1  a
1  0.3   2  a
2  0.5   3  c
3  0.7   4  d

    c3  c2 c1
0  0.1   1  a
1  0.3   2  a
2  0.5   3  c
3  0.7   4  d

上面的方法主要是两个步骤：
1.首先通过[]直接进行列数据的交换。
2.对columns进行重命名，恢复到原来的名称。

4.3 按行插入

如果我们想在dataframe最后添加一行，如下两种方式都可以

c1 = ['a', 'a', 'c', 'd']
c2 = [1, 2, 3, 4]
c3 = ['0.1', '0.3', '0.5', '0.7']
data = pd.DataFrame({'c1': c1, 'c2': c2, 'c3': c3})

# 末尾添加一行
row = {'c1': 'e', 'c2': 5, 'c3': '0.9'}
data = data.append(row, ignore_index=True)

data.loc[data.shape[0]] = row

如果想在起始位置添加一行，可以使用如下方式

c1 = ['a', 'a', 'c', 'd']
c2 = [1, 2, 3, 4]
c3 = ['0.1', '0.3', '0.5', '0.7']
data = pd.DataFrame({'c1': c1, 'c2': c2, 'c3': c3})

row = {'c1': 'e', 'c2': 5, 'c3': '0.9'}
data.loc[-1] = row
data.index = data.index + 1
data = data.sort_index()
print(data)

输出结果为

  c1  c2   c3
0  e   5  0.9
1  a   1  0.1
2  a   2  0.3
3  c   3  0.5
4  d   4  0.7

5.排序

pandas中的排序可以使用sort_values方法，该方法简洁实用，谁用谁知道。

c1 = ['a', 'a', 'c', 'd']
c2 = [1, 2, 3, 4]
c3 = ['0.1', '0.3', '0.5', '0.7']
data = pd.DataFrame({'c1': c1, 'c2': c2, 'c3': c3})

data.sort_values(by=['c2'], ascending=False, inplace=True)
data.reset_index(drop=True, inplace=True)
print(data)

  c1  c2   c3
0  d   4  0.7
1  c   3  0.5
2  a   2  0.3
3  a   1  0.1

其中by是指用来排序的列名，可以传入多个。排序完毕以后，为了后面方便使用，我们对index进行了重置。

如果我们想对多列进行排序

country = ['Chi', 'Chi', 'Chi', 'Jp', 'Jp', 'Aus']
city = ['bj', 'bj', 'sh', 'ty', 'ty', 'sy']
num = [200, 300, 100, 50, 60, 70]
data = pd.DataFrame({'country': country, 'city': city, 'num': num})

data.sort_values(by=['country', 'rate'], ascending=[True, False], inplace=True)
print(data)

上面的代码，即对data先按country降序排列，再按rate进行升序排列。

看个更复杂的例子

country = ['Chi', 'Chi', 'Chi', 'Jp', 'Jp', 'Aus']
city = ['1_bj', '5_bj', '4_sh', '3_ty', '6_ty', '2_sy']
data = pd.DataFrame({'country': country, 'city': city})
data.sort_values(by=['city'], inplace=True)
print(data)
data['newcity'] = data['city'].map(lambda x: x.split('_')[1])
data.sort_values(by=['newcity'], inplace=True)
data.drop('newcity', inplace=True, axis=1)
print(data)

上面的例子中，我们想对city列先按’_'进行分割，分割完毕后取第二个字段进行排序。我们可以先添加一列对整个dataframe进行排序，排序完毕以后再将该列删除。

6.对某列进行wordcount

很多时候我们拿到一个数据，想对其分布情况进行查看，做类似wordcount操作，pandas中的value_counts方法就可以方便进行上述操作。

c1 = ['a', 'a', 'c', 'd']
c2 = [1, 2, 3, 4]
c3 = ['0.1', '0.3', '0.5', '0.7']
data = pd.DataFrame({'c1': c1, 'c2': c2, 'c3': c3})

print(data.c1.value_counts())
print(type(data.c1.value_counts()))

输出结果为

a    2
d    1
c    1
Name: c1, dtype: int64
<class 'pandas.core.series.Series'>

返回的数据类型为Series结构。

7.计算占比

计算占比，是日常数据分析中的常见需求。下面我们通过一个实例来看一下如何计算占比。

import pandas as pd

country = ['Chi', 'Chi', 'Chi', 'Jp', 'Jp', 'Aus']
city = ['bj', 'bj', 'sh', 'ty', 'ty', 'sy']
num = [200, 300, 100, 50, 60, 70]
data = pd.DataFrame({'country': country, 'city': city, 'num': num})

data有三列：country,city,num。我们想计算，每个city在他所在country的num中占比。

涉及到占比，肯定离不开groupby分组操作，先稍微看一下groupby操作。

ret = data.groupby(['country', 'city']).count()
print(ret)

输出如下

              num
country city     
Aus     sy      1
Chi     bj      2
        sh      1
Jp      ty      2

很多时候，我们想要的输出为

country city    num
Aus    sy     1
Chi     bj      2
Chi     sh     1
Jp      ty      2

为什么上面的结果不是我们想要的？
如果我们查看一下ret的index

print(ret.index)

发现结果如下

MultiIndex([('Aus', 'sy'),
            ('Chi', 'bj'),
            ('Chi', 'sh'),
            ( 'Jp', 'ty')],
           names=['country', 'city'])

此时ret的index包含两列，分别为country与city。为了达到我们想要的结果，只需要重新reset_index即可

ret.reset_index(inplace=True)
print(ret)

下面我们实现一下最初计算占比的需求。

country = ['Chi', 'Chi', 'Chi', 'Jp', 'Jp', 'Aus']
city = ['bj', 'bj', 'sh', 'ty', 'ty', 'sy']
num = [200, 300, 100, 50, 60, 70]
data = pd.DataFrame({'country': country, 'city': city, 'num': num})


data['rate'] = data['num'] / data.groupby('country')['num'].transform('sum')
print(data)

上面的代码，按country分组，然后对num进行sum操作，注意sum操作是包含在transform中，这样能保证索引对齐最后按预期输出。

8.根据一列新生成一列

如果我们想根据现有列生成新的列，可以使用map方法来完成。

import pandas as pd

country = ['Chi', 'Chi', 'Chi', 'Jp', 'Jp', 'Aus']
city = ['bj', 'bj', 'sh', 'ty', 'ty', 'sy']
num = [200, 300, 100, 50, 60, 70]
data = pd.DataFrame({'country': country, 'city': city, 'num': num})

data['num2'] = data['num'].map(lambda x:  x * 2 if x >= 100 else x + 1 )
print(data)

num2列根据num列生成。如果num列中的数值大于等于100，则乘以2；否则加1。
最后的输出结果为

  country city  num  num2
0     Chi   bj  200   400
1     Chi   bj  300   600
2     Chi   sh  100   200
3      Jp   ty   50    51
4      Jp   ty   60    61
5     Aus   sy   70    71

9.计算分位数

分位数是统计学中的概念，一般用q表示比较多，q可以是0到1之间的任意数值，常用的四分位数比较出名。
四分位数，是指将数值从小到大排列分成四等份，处于三个分割点位置的数值就是四分位数。
计算分位数位置的方法有两种：
method1: position = (n + 1) * q
method2: pos = 1 + (n-1) * q
pandas中，使用的就是第二种方法。

import pandas as pd
import random
import numpy as np

n1 = [random.randint(1, 10) for _ in range(10)]
n2 = [random.randint(50, 60) for _ in range(10)]
data = pd.DataFrame({'n1': n1, 'n2': n2})
print(data)
print()

r1 = data['n1'].quantile(q = 0.25)
print(r1)
r2 = data['n2'].quantile(q = 0.4)
print(r2)
print()

a = np.array(data['n1'])
b = np.array(data['n2'])
print(np.percentile(a, 25))
print(np.percentile(b, 40))

上面的代码某次运行结果

可以看到，pandas中的quantile方法与numpy中的percentile方法计算结果是一致的。
稍微需要注意的是，quantile传的q值是0-1之间的浮点数，而percentile中的q值为0-100之间的浮点数。