pandas数据处理

单点突破，pandas数据处理操作

import pandas as pd
import numpy as np

# 创建虚拟数据
data = {
    'Name': ['Alice', 'Bob', 'Charlie', 'David', 'Eva'],
    'Age': [25, np.nan, 30, 35, 28],
    'Gender': ['F', 'M', 'M', 'M', 'F'],
    'Score': [85, 90, 78, np.nan, 92],
    'JoinDate': ['2023-01-15', '2022-12-23', '2021-07-01', '2023-05-21', '2022-11-11']
}
df = pd.DataFrame(data)

1. 处理缺失值

查找和填充缺失值。

missing_values = df.isnull().sum()
df['Age'].fillna(df['Age'].median(), inplace=True)
df['Score'].fillna(df['Score'].median(), inplace=True)

2. 筛选数据

根据条件筛选数据。

filtered_df = df[df['Age'] > 30]

3. 数据分组与聚合

按某一列分组并进行聚合计算。

grouped = df.groupby('Gender')['Score'].mean()

4. 数据合并与连接

将两个数据框按某一列合并。

extra_data = {'Name': ['Alice', 'Bob'], 'City': ['New York', 'Los Angeles']}
df2 = pd.DataFrame(extra_data)
merged_df = pd.merge(df, df2, on='Name', how='left')

5. 数据类型转换

转换数据框中某一列的数据类型。

df['JoinDate'] = pd.to_datetime(df['JoinDate'])

6. 删除重复数据

删除数据框中的重复行。

df_duplicates = pd.DataFrame({
    'Name': ['Alice', 'Bob', 'Alice', 'David'],
    'Age': [25, 30, 25, 35]
})
df_duplicates.drop_duplicates(inplace=True)

7. 创建新列

基于现有列创建新列。

df['AgeGroup'] = df['Age'].apply(lambda x: 'Young' if x < 30 else 'Old')

8. 删除列

从数据框中删除指定列。

df.drop('AgeGroup', axis=1, inplace=True)

9. 数据标准化

对数据进行标准化处理。

df['NormalizedScore'] = (df['Score'] - df['Score'].mean()) / df['Score'].std()

10. 类别编码

将分类变量进行one-hot编码。

df_encoded = pd.get_dummies(df, columns=['Gender'])

11. 数据重塑

将数据转换为长格式。

melted_df = pd.melt(df, id_vars=['Name'], value_vars=['Age', 'Score'])

12. 重命名列

重命名数据框中的列。

df.rename(columns={'Score': 'FinalScore'}, inplace=True)

13. 处理日期时间数据

提取日期时间中的年份、月份和日期。

df['Year'] = df['JoinDate'].dt.year
df['Month'] = df['JoinDate'].dt.month
df['Day'] = df['JoinDate'].dt.day

14. 数据采样

随机抽取指定数量的行。

sample_df = df.sample(n=2, random_state=42)

15. 计算相关性矩阵

计算数据框中数值列之间的相关性。

correlation_matrix = df.corr()

16. 使用条件逻辑创建新列

根据条件为新列赋值。

df['Grade'] = df['FinalScore'].apply(lambda x: 'A' if x > 90 else ('B' if x > 80 else 'C'))

17. 数据透视表

创建透视表进行数据汇总。

pivot_table = df.pivot_table(values='FinalScore', index='Gender', columns='Year', aggfunc='mean')

18. 处理字符串数据

对字符串数据进行处理。

df['UpperName'] = df['Name'].str.upper()

19. 使用apply函数进行复杂操作

使用apply函数对列进行复杂计算。

df['DoubleAge'] = df['Age'].apply(lambda x: x * 2)

20. 数据排序

按指定列对数据进行排序。

df.sort_values(by='FinalScore', ascending=False, inplace=True)

以下是与Pandas数据处理相关的习题及其对应的答案。

习题数据

import pandas as pd
import numpy as np

# 创建虚拟数据
data = {
    'Name': ['Alice', 'Bob', 'Charlie', 'David', 'Eva'],
    'Age': [25, np.nan, 30, 35, 28],
    'Gender': ['F', 'M', 'M', 'M', 'F'],
    'Score': [85, 90, 78, np.nan, 92],
    'JoinDate': ['2023-01-15', '2022-12-23', '2021-07-01', '2023-05-21', '2022-11-11']
}
df = pd.DataFrame(data)
df['JoinDate'] = pd.to_datetime(df['JoinDate'])

习题

1. 缺失值处理
   计算每一列的缺失值数量，并用列的均值填充缺失值。

2. 数据筛选
   从数据框 df 中筛选出所有年龄大于等于30岁的记录。

3. 分组与聚合
   按性别分组，计算每组的平均分数，并将结果存储在一个新的数据框中。

4. 数据合并
   创建一个新的数据框 df2，包含如下数据：

   {'Name': ['Alice', 'Charlie'], 'City': ['New York', 'San Francisco']}
   

   将 df 和 df2 按 Name 列合并。

5. 日期处理
   提取 JoinDate 列中的年份，并将其存储在新列 JoinYear 中。

6. 删除重复行
   创建一个数据框 df_duplicates，包含如下数据：

   {'Name': ['Bob', 'David', 'Bob', 'Eva'], 'Age': [30, 35, 30, 28]}
   

   删除重复行。

7. 创建新列
   根据 Score 列的值创建一个新列 PassFail，如果分数大于等于80，则标记为 “Pass”，否则标记为 “Fail”。

8. 标准化数据
   对 Score 列进行标准化处理，并将结果存储在新列 StandardizedScore 中。

9. 类别编码
   对 Gender 列进行one-hot编码，并将结果存储在一个新的数据框中。

10. 数据排序
    对 Score 列进行降序排序，并返回排序后的数据框。

---

答案

1. 缺失值处理

   missing_values = df.isnull().sum()
   df.fillna(df.mean(), inplace=True)
   

2. 数据筛选

   filtered_df = df[df['Age'] >= 30]
   

3. 分组与聚合

   grouped_df = df.groupby('Gender')['Score'].mean().reset_index()
   

4. 数据合并

   df2 = pd.DataFrame({'Name': ['Alice', 'Charlie'], 'City': ['New York', 'San Francisco']})
   merged_df = pd.merge(df, df2, on='Name', how='left')
   

5. 日期处理

   df['JoinYear'] = df['JoinDate'].dt.year
   

6. 删除重复行

   df_duplicates = pd.DataFrame({'Name': ['Bob', 'David', 'Bob', 'Eva'], 'Age': [30, 35, 30, 28]})
   df_duplicates.drop_duplicates(inplace=True)
   

7. 创建新列

   df['PassFail'] = df['Score'].apply(lambda x: 'Pass' if x >= 80 else 'Fail')
   

8. 标准化数据

   df['StandardizedScore'] = (df['Score'] - df['Score'].mean()) / df['Score'].std()
   

9. 类别编码

   df_encoded = pd.get_dummies(df, columns=['Gender'])
   

10. 数据排序

    sorted_df = df.sort_values(by='Score', ascending=False)
    

这些习题和答案旨在帮助您巩固Pandas的数据处理技能，希望可以帮到你学会pandas数据处理，觉得有用给个关注，鼓励一下，更新不易，帮忙打打气。