Pandas DataFrame 基本操作实例100个

Pandas

是一个基于NumPy的数据分析模块，最初由AQR Capital Management于2008年4月开发，并于2009年底开源。Pandas的名称来源于“Panel Data”（面板数据）和“Python数据分析”（data analysis）。这个库现在由专注于Python数据包开发的PyData开发团队继续开发和维护，属于PyData项目的一部分。

Pandas为Python提供了大量的数据处理函数和方法，使得Python成为强大而高效的数据分析环境。这个库主要提供了三种数据结构：Series（带标签的一维数组）、DataFrame（带标签且大小可变的二维表格结构）和Panel（带标签且大小可变的三维数组）。这些数据结构使得Pandas能够高效地处理大型数据集。

Pandas的主要功能包括数据清理、数据转换、数据提取和分析等。它可以帮助用户解决各种数据问题，如检查两个或多个列之间是否存在相关性，计算数据的平均值、最大值、最小值等。此外，Pandas还能够删除不相关的行或包含错误值的行，这被称为数据清洗。

示例

提高可读性的列重命名：重命名DataFrame列以提高可读性。

df.rename(columns={'old_name': 'new_name'}, inplace=True)

为MultiIndex DataFrames展平索引：为简化起见，展平MultiIndex DataFrame。

df.columns = ['_'.join(col).strip() for col in df.columns.values]

为DataFrame应用条件格式：使用Styler突出显示特定数据点。

df.style.applymap(lambda x: 'background-color: yellow' if x > 0 else 'background-color: red')

使用分类数据类型优化性能：将对象类型转换为分类类型，以加快操作速度并减少内存使用。

df['category'] = df['category'].astype('category')

使用filter动态过滤行：根据动态条件过滤DataFrame行。

df_filtered = df.filter(regex='pattern')

在多个列上应用函数：使用apply和axis=1在行上应用函数。

df['new_column'] = df.apply(lambda row: row['a'] + row['b'], axis=1)

使用concat高效合并DataFrames：在管理索引的同时垂直或水平连接DataFrames。

pd.concat([df1, df2], axis=0, ignore_index=True)

使用read_csv参数进行选择性读取：使用read_csv中的参数读取文件的特定行、列或块。

df = pd.read_csv('file.csv', usecols=['col1', 'col2'], nrows=100)

使用fillna处理缺失数据：用特定值或计算值（如列的均值）填充缺失值。

df.fillna(df.mean(), inplace=True)

检测和过滤异常值：根据z分数或IQR识别并删除异常值。

from scipy.stats import zscore 
df = df[(np.abs(zscore(df)) < 3).all(axis=1)]

用于报告的DataFrame样式化：使用Pandas Styler为报告生成向DataFrame添加CSS样式。

df.style.set_properties(**{'background-color': 'black', 'color': 'white'})

从列创建MultiIndex：将DataFrame列转换为MultiIndex以创建分层级别。

df.set_index(['col1', 'col2'], inplace=True)

使用groupby和自定义函数进行聚合：对数据进行分组并应用自定义聚合函数进行详细分析。

df.groupby('group').agg({'data': lambda x: x.max() - x.min()})

时间序列分解：将时间序列数据分解为趋势、季节性和残差分量。

from statsmodels.tsa.seasonal import seasonal_decompose 
result = seasonal_decompose(df['time_series'], model='additive', freq=365) 
result.plot()

为时间序列分析创建滞后特征：创建滞后特征以在时间序列预测的机器学习模型中使用。

df['lag_1'] = df['series'].shift(1)

使用pivot_table进行多维分析：为复杂数据汇总创建类似电子表格的数据透视表。

df.pivot_table(values='D', index=['A', 'B'], columns=['C'], aggfunc=np.sum)

使用set_index进行自定义索引：将DataFrame列设置为索引以便于行查找。

df.set_index('column_name', inplace=True)

大型数据集的批处理：以批处理方式处理大型数据集以最小化内存使用。

chunk_size = 10000
for chunk in pd.read_csv('large_dataset.csv', chunksize=chunk_size):
    process(chunk)

使用melt进行数据规范化：将DataFrame从宽格式规范化或展开到长格式。

pd.melt(df, id_vars=['id'], value_vars=['A', 'B', 'C'])

使用query安全访问数据：使用query方法使用查询表达式过滤DataFrame。

df.query('column > 100')

使用loc进行条件选择：使用loc基于标签进行更复杂的条件选择。

df_filtered = df.loc[df['column'] > 10, ['column1', 'column2']]

使用at和iat进行快速标量访问：使用at进行基于标签的标量访问，使用iat进行基于整数的访问。

value = df.at[0, 'column'] value = df.iat[0, 1]

多级索引xs：使用xs从具有多级索引的DataFrame获取交叉部分。

value = df.xs('Level1', level='LevelName', axis=0)

使用factorize创建虚拟变量：将分类变量数值化为虚拟/指示变量。

df['category_encoded'], _ = pd.factorize(df['category_column'])

使用eval和query进行动态查询：使用字符串表达式进行高效查询和列操作。

df_filtered = df.query('column > 10')
df.eval('new_column = column1 + column2', inplace=True)

使用sort_values进行自定义排序：按照一个或多个列进行排序，并指定自定义排序顺序。

df_sorted = df.sort_values(by=['column1', 'column2'], ascending=[True, False])

使用to_datetime进行高效日期解析：将字符串日期有效地转换为日期时间对象。

df['date'] = pd.to_datetime(df['date_string'], format='%Y-%m-%d')

使用chunksize处理大型数据：以可管理的块处理大型数据。

for chunk in pd.read_csv('large_file.csv', chunksize=10000):
    process(chunk)

自定义Groupby聚合：对groupby对象应用自定义聚合函数。

df_grouped = df.groupby('group_column').agg({'data_column': ['mean', 'std', lambda x: x.max() - x.min()]})

时间序列重采样：对时间序列数据进行降采样或升采样。

df_resampled = df.resample('M').mean()

使用pivot进行数据重格式化：基于列值对表进行数据透视。

df_pivoted = df.pivot(index='date', columns='variable', values='value')

使用Multi-Index进行stack和unstack：将具有多级列的DataFrame转换为更紧凑的形式。

stacked = df.stack() 
unstacked = stacked.unstack()

字符串和类别类型之间的转换：将数据类型转换为优化内存使用的格式。

df['string_column'] = df['category_column'].astype('string')
df['category_column'] = df['string_column'].astype('category')

使用不同连接类型合并DataFrames：执行左连接、右连接、内连接和外连接，类似于SQL。

df_merged = pd.merge(df1, df2, how='left', on='key_column')

使用iloc切片DataFrame：使用iloc进行基于位置的索引，通过整数位置选择行和列。

df_subset = df.iloc[0:5, [1, 2]]

根据条件创建数据屏蔽：创建布尔屏蔽以过滤数据。

mask = (df['column'] > 10) & (df['column'] < 20)
df_masked = df[mask]

时间序列的扩展和滚动操作：使用扩展或滚动操作进行累积计算。

df_expanding = df['data_column'].expanding().mean()
df_rolling = df['data_column'].rolling(window=5).mean()

数据转换的列映射：对数据转换应用字典映射到列。

df['column_mapped'] = df['column'].map(mapping_dict)

将字符串拆分为列：将字符串数据拆分为单独的列。

df[['first', 'last']] = df['name'].str.split(' ', expand=True)

在多个级别聚合数据：对groupby执行多级别聚合。

df_multi_agg = df.groupby(['level1', 'level2']).agg({'data1': 'mean', 'dat

使用query进行过滤：query方法允许更可读的过滤语法，特别是对于复杂条件。

df_filtered = df.query('a > 1 and b < 4')

使用assign创建新列：动态向DataFrame添加新列，这对于链式操作特别有用。

df = df.assign(new_column=lambda x: x['a'] + x['b'])

使用applymap进行矢量化操作：在DataFrame上逐元素地应用函数，对于将变换应用于每个元素很有用。

df = df.applymap(lambda x: x*2)

连接DataFrames：垂直或水平组合多个DataFrames。

df_combined = pd.concat([df1, df2], axis=0)  # 垂直

在关键列上合并DataFrames：根据关键列合并DataFrames，类似于SQL连接。

df_merged = pd.merge(df1, df2, on='key_column')

使用get_dummies进行独热编码：将分类变量转换为虚拟/指示变量。

df_with_dummies = pd.get_dummies(df, columns=['category_column'])

自定义聚合的GroupBy：对数据进行分组并应用自定义聚合函数。

df_grouped = df.groupby('group_column').agg(custom_agg_func)

使用cut对数据进行分箱：将数据值分段和排序到箱中。

df['binned_column'] = pd.cut(df['numeric_column'], bins=3)

使用replace进行数据清理：替换DataFrame中的值。

df = df.replace({'old_value': 'new_value'})

删除具有缺失值的列：删除具有一定百分比缺失值的列。

df = df.dropna(axis=1, thresh=int(0.9*len(df)))

DataFrame内存使用情况：检查DataFrame的内存使用情况。

df_memory_usage = df.memory_usage(deep=True)

使用select_dtypes按数据类型选择列：根据数据类型筛选列。

df_numeric = df.select_dtypes(include=['int64', 'float64'])

设置和重置索引：使用列作为DataFrame索引或将其重置。

df.set_index('column_name', inplace=True)
df.reset_index(inplace=True)

使用iterrows对行进行迭代：以(index, Series)对的形式循环DataFrame行。

for index, row in df.iterrows():
    print(index, row['column'])

对DataFrame操作使用inplace=True：许多DataFrame方法提供inplace参数，允许在原地修改DataFrame而不将结果分配给新变量。这可以使代码更简洁，减少内存使用。

import pandas as pd

df = pd.DataFrame([
    [1, 2, 3],
    [4, 5, 6],
    [None, 2, 3],
    [None, 5, 6],
], columns=['a', 'b', 'c'])

# 删除带有NaN值的行
df.dropna(inplace=True)
print(df)

使用melt进行数据重塑：将DataFrame从宽格式重塑为长格式，可选择保留标识符。

df_melted = pd.melt(df, id_vars=['identifier_column'], value_vars=['value_column'])

日期和时间操作：提取或操作日期时间对象的组件。

df['year'] = df['datetime_column'].dt.year

将DataFrame保存为各种格式：将DataFrame导出为CSV、Excel或SQL数据库。

df.to_csv('filename.csv', index=False)
df.to_excel('filename.xlsx', sheet_name='Sheet1')

使用特定dtypes读取数据：在加载数据时指定列数据类型以节省内存。

df = pd.read_csv('filename.csv', dtype={'column': 'dtype'})

使用eval进行高效操作：评估描述DataFrame列操作的字符串。

df['new_column'] = df.eval('column1 + column2')

使用str方法进行数据清洗：清理或操作字符串列。

df['string_column'] = df['string_column'].str.strip().str.lower()

使用df.to_clipboard()将数据复制到剪贴板：将DataFrame的内容复制到剪贴板。

import pandas as pd

df = pd.DataFrame([
    [1, 2, 3],
    [4, 5, 6]
], columns=['a', 'b', 'c'])

# 将DataFrame复制到剪贴板
df.to_clipboard()

使用.T转置DataFrame：转置DataFrame会交换其行和列，这在数据分析中特别有用，特别是当您想要更改数据集的方向以进行可视化或比较时。

import pandas as pd

df = pd.DataFrame([
    [1, 2, 3],
    [4, 5, 6]
], columns=['a', 'b', 'c'])

# 转置DataFrame
df_transposed = df.T
print(df_transposed)

使用.apply()应用函数：.apply()方法允许您在DataFrame或Series的轴上应用函数。对于将复杂函数或lambda表达式应用于数据元素非常有用。

import pandas as pd

df = pd.DataFrame([
    [1, 2, 3],
    [4, 5, 6],
    [7, 8, 9]
], columns=['a', 'b', 'c'])

# 在“a”列中求平方
df['a_squared'] = df['a'].apply(lambda x: x**2)
print(df)

使用~反转过滤条件：使用波浪符~反转布尔条件。当您想要选择不匹配某个条件的行时特别有用，例如在DataFrame中选择非空值。

import pandas as pd

df = pd.DataFrame([
    [1, 2, 3],
    [1, 2, 4],
    [None, 2, 4],
    [2, 2, 3],
    [None, 2, 4]
], columns=['a', 'b', 'c'])

# 通过反转过滤选择“a”不是NaN的行
df_not_null = df[~df['a'].isna()]
print(df_not_null)

条件列创建：使用np.where根据条件创建新列。

df['new_column'] = np.where(df['column'] > condition, value_if_true, value_if_false)

多重索引创建：为更复杂的数据分析创建分层索引（MultiIndex）。

df.set_index(['column1', 'column2'], inplace=True)

透视表：生成用于汇总数据的透视表。

df.pivot_table(values='value_column', index='index_column', columns='columns_column', aggfunc=np.sum)

类别数据转换：将分类数据转换为‘category’类型以提高效率。

df['category_column'] = df['category_column'].astype('category')

在索引上合并：使用它们的索引合并两个数据帧。

pd.merge(df1, df2, left_index=True, right_index=True)

窗口函数：使用滚动窗口进行计算。

df['rolling_sum'] = df['value'].rolling(window=3).sum()

使用GroupBy进行聚合：使用groupby执行高级聚合。

df.groupby('group_column').agg({'value_column': ['sum', 'mean', 'std']})

处理缺失数据：使用插值方法智能地处理缺失数据。

df.interpolate(method='linear', inplace=True)

矢量化字符串操作：使用矢量化操作无需循环应用字符串方法。

df['string_column'].str.upper()

日期处理：将字符串转换为日期时间并提取特征。

df['date_column'] = pd.to_datetime(df['date_column'])
df['year'] = df['date_column'].dt.year

内存优化：通过将数字列下降转换为整数来减少内存使用。

df['int_column'] = pd.to_numeric(df['int_column'], downcast='integer')

交叉表：创建交叉表以探索两列之间的关系。

pd.crosstab(df['column1'], df['column2'])

展开列表：将DataFrame列中的列表扩展为单独的行。

df.explode('list_column')

数据归一化：为机器学习归一化数据列。

df['normalized'] = (df['column'] - df['column'].mean()) / df['column'].std()

条件应用函数：根据条件将函数应用于特定行或列。

df.apply(lambda x: func(x) if condition else x)

处理重复行：识别并删除重复行。

df.drop_duplicates(subset=['column1', 'column2'], keep='first')

类别排序：逻辑排序类别，而不是按字母顺序排序。

from pandas.api.types import CategoricalDtype
cat_type = CategoricalDtype(categories=['low', 'medium', 'high'], ordered=True)
df['ordered_category'] = df['category_column'].astype(cat_type)

时间序列重采样：为不同的时间框架重采样时间序列数据。

df.resample('M').mean()

过滤的查询方法：使用查询更简洁地过滤行。

df.query('column > value')

为DataFrame应用样式：为更好地可视化，在DataFrame上应用条件格式。

df.style.applymap(lambda x: 'color: red' if x < 0 else 'color: black')

动态列选择：根据条件检查其数据类型或其他条件选择列。

numeric_cols = df.select_dtypes(include=['int64', 'float64']).columns

高效的日期范围创建：生成日期和时间序列。

dates = pd.date_range(start='2020-01-01', end='2020-12-31', freq='D')

自定义列聚合：在groupby中对不同列应用不同的聚合函数。

df.groupby('group_col').agg({'data1': 'sum', 'data2': 'mean'})

DataFrame联接操作：使用索引或公共列联接DataFrame，类似于SQL联接。

df_joined = df1.join(df2.set_index('key'), on='key')

保存到多个Excel表：将不同的DataFrame写入同一Excel文件的不同工作表。

with pd.ExcelWriter('output.xlsx') as writer:
    df1.to_excel(writer, sheet_name='Sheet1')
    df2.to_excel(writer, sheet_name='Sheet2')

列合并：按列合并DataFrame，根据索引对齐。

df_concat = pd.concat([df1, df2], axis=1)

按行数据追加：将一个DataFrame的行追加到另一个DataFrame。

df_appended = df1.append(df2, ignore_index=True)

类别数据排序：控制分类数据中类别的顺序。

df['category'] = pd.Categorical(df['category'], categories=['low', 'medium', 'high'], ordered=True)

重复行识别：基于特定列识别和处理重复行。

duplicates = df.duplicated(subset=['col1', 'col2'], keep=False)
df_duplicates = df[duplicates]

加权平均数计算：为分组数据计算加权平均数。

df['weighted_mean'] = df.groupby('group')['value'].transform(lambda x: np.average(x, weights=df.loc[x.index, 'weight']))

用于数据概览的Pandas Profiling：为DataFrame生成全面的报告进行初步数据分析。

import pandas_profiling
report = pandas_profiling.ProfileReport(df)
report.to_file("data_analysis.html")

多重索引操作用于分层数据：使用分层索引（MultiIndex）操作DataFrame以处理复杂数据结构。

df_multi = df.set_index(['level_1', 'level_2'])

使用布尔索引对DataFrame进行切片：使用布尔条件对DataFrame进行切片以进行数据子集化。

df_sliced = df[df['column'] > value]

滚动窗口计算：在滚动窗口中执行计算，例如移动平均数。

df_rolling_avg = df['data_column'].rolling(window=5).mean()

扩展窗口用于累积计算：使用扩展窗口计算累积统计信息。

df_cum_sum = df['data_column'].expanding().sum()

---

总结

总的来说，Pandas是一个强大而灵活的数据分析工具，它使得Python在数据分析领域具有广泛的应用。无论是金融、科学、社会科学还是其他领域，Pandas都可以帮助用户高效地处理和分析数据，从而得出有价值的结论。以上100个基本操作实例涉及数据排序、数值计算、数据分析、重复处理、布尔索引切片、多重索引设置、文件操作等等操作，其中提到的函数、方法和属性包括不限于以下索引：

函数索引

agg, append, apply, astype, at, columns, concat, crosstab, date_range, downcast, drop_duplicates, dropna, duplicated, eval, expanding, explode, fillna, filter, groupby, iloc, inplace, interpolate, iterrows, join, keep, loc, map, mask, melt, memory_usage, merge, np.average, np.where, pandas_profiling.ProfileReport, pd.Categorical, pd.factorize, pd.melt, pd.to_datetime, pivot, pivot_table, query, read_csv, resample, rolling, seasonal_decompose, select_dtypes, set_index, reset_index, shift, sort_values, stack,\xa0unstack, style.applymap, to_clipboard, to_csv, to_excel, to_datetime, to_file, agg, append, apply, astype, at, columns, concat, crosstab, date_range, downcast, drop_duplicates, dropna, duplicated, eval, expanding, explode, fillna, filter, groupby, iloc, inplace, interpolate, iterrows, join, keep, loc, map, mask, melt, memory_usage, merge, np.average, np.where, pandas_profiling.ProfileReport, pd.Categorical, pd.factorize, pd.melt, pd.to_datetime, pivot, pivot_table, query, read_csv, resample, rolling, seasonal_decompose, select_dtypes, set_index, reset_index, shift, sort_values, stack,\xa0unstack, style.applymap, to_clipboard, to_csv, to_excel, to_datetime, to_file