在Python中,pandas
库是一个强大的数据分析工具,提供了许多函数和方法来处理数据。以下是一些常用的pandas
函数及其应用案例:
1. 数据读取与写入
read_csv()
: 读取CSV文件。read_excel()
: 读取Excel文件。to_csv()
: 将数据写入CSV文件。to_excel()
: 将数据写入Excel文件。
应用案例:
python复制代码
import pandas as pd | |
# 读取CSV文件 | |
df = pd.read_csv('data.csv') | |
# 读取Excel文件 | |
df = pd.read_excel('data.xlsx') | |
# 将数据写入CSV文件 | |
df.to_csv('output.csv', index=False) | |
# 将数据写入Excel文件 | |
df.to_excel('output.xlsx', index=False) |
2. 数据选择与筛选
loc[]
: 基于标签的数据选择。iloc[]
: 基于整数位置的数据选择。query()
: 基于条件的数据筛选。
应用案例:
python复制代码
# 基于标签选择数据 | |
df_selected = df.loc[df['column_name'] == 'value'] | |
# 基于整数位置选择数据 | |
df_selected = df.iloc[0:5, 1:3] # 选择前5行,第2列和第3列 | |
# 基于条件筛选数据 | |
df_filtered = df.query('column1 > 10 and column2 < 20') |
3. 数据清洗与处理
dropna()
: 删除包含缺失值的行或列。fillna()
: 填充缺失值。duplicated()
: 标记重复的行。drop_duplicates()
: 删除重复的行。
应用案例:
python复制代码
# 删除包含缺失值的行 | |
df_cleaned = df.dropna() | |
# 填充缺失值 | |
df_filled = df.fillna(0) # 用0填充缺失值 | |
# 标记重复的行 | |
df['is_duplicated'] = df.duplicated() | |
# 删除重复的行 | |
df_unique = df.drop_duplicates() |
4. 数据聚合与分组
groupby()
: 数据分组。agg()
: 聚合函数。pivot_table()
: 创建透视表。
应用案例:
python复制代码
# 数据分组 | |
grouped = df.groupby('column_name') | |
# 聚合操作 | |
aggregated = grouped.agg({'column1': 'sum', 'column2': 'mean'}) | |
# 创建透视表 | |
pivot_table = df.pivot_table(index='column1', values='column2', aggfunc='sum') |
5. 数据排序与排名
sort_values()
: 按照列值排序。rank()
: 计算排名。
应用案例:
python复制代码
# 按照列值排序 | |
df_sorted = df.sort_values(by='column_name', ascending=False) | |
# 计算排名 | |
df['rank'] = df['column_name'].rank(ascending=False) |
6. 数据合并与连接
merge()
: 合并两个数据集。concat()
: 连接两个数据集。
应用案例:
python复制代码
# 合并两个数据集 | |
df_merged = pd.merge(df1, df2, on='common_column') | |
# 连接两个数据集 | |
df_concatenated = pd.concat([df1, df2]) |
这些只是pandas
库中的一小部分函数和它们的应用案例。pandas
提供了丰富的功能,使得数据处理和分析变得简单而高效。