Python Pandas 数据探索10个实用函数

基本原理

在深入数据分析之前，数据探索和了解数据是至关重要的步骤。Python中的Pandas库是数据探索的有力工具。它提供了一套全面的函数和数据结构，使您能够快速探索数据并从其中获得初步见解。本文将介绍10个用于数据探索的基本pandas方法。

示例代码

1. head() 函数

# 导入 pandas 库
import pandas as pd

# 从CSV文件中读取数据
df = pd.read_csv('filename.csv')

# 预览数据集的前5行
df.head()

2. tail() 函数

# 预览数据集的最后5行
df.tail()

3. sample() 函数

# 从大型DataFrame中随机抽取5个样本
df.sample(n=5)

4. info() 函数

# 查看数据集的基本信息，如列名、数据类型和非空值数量
df.info()

5. describe() 函数

# 查看数据集的描述性统计信息，如计数、均值、标准差、最小值、最大值等
df.describe()

6. value_counts() 函数

# 计算某列中各个值的出现次数
df['column_name'].value_counts()

7. unique() 函数

# 查看某列中的唯一值
df['column_name'].unique()

8. sort_values() 函数

# 根据某列对数据集进行排序
df.sort_values(by='column_name', ascending=True)

9. isna() 函数

# 检查数据集中是否存在缺失值
df.isna().sum()

10. dropna() 函数

# 删除包含缺失值的行或列
df.dropna(axis=0, inplace=True)  # 删除包含缺失值的行
df.dropna(axis=1, inplace=True)  # 删除包含缺失值的列

注意事项

• 在使用这些函数之前，请确保已经正确导入了pandas库并读取了数据。
• head() 和 tail() 函数的默认显示行数可以通过传递参数进行调整，例如：df.head(10) 或 df.tail(3)。
• sample() 函数中的 n 参数表示要抽取的样本数量。
• info() 函数显示的信息可以帮助您了解数据集的结构。
• describe() 函数提供了关于数值型列的描述性统计信息。
• value_counts() 函数可以帮助您了解某列中各个值的分布情况。
• unique() 函数返回某列中的唯一值，可以用于了解数据集中的取值范围。
• sort_values() 函数可以根据指定列对数据集进行排序。
• isna() 函数可以检查数据集中是否存在缺失值，并计算缺失值的数量。
• dropna() 函数可以删除包含缺失值的行或列，以便进行后续分析。

结论

本文介绍了10个用于数据探索的基本pandas方法，包括预览数据集的前几行和后几行、从大型数据集中随机抽取样本、查看数据集的基本信息、计算描述性统计信息、计算各个值的出现次数、查看唯一值、对数据集进行排序、检查缺失值以及删除缺失值等。这些方法对于初步了解数据集的结构和内容非常有帮助。