前言:
继续上一章数据分析Pandas专栏---第五章＜Pandas缺失值的处理＞-CSDN博客
关于数据填充的部分,预计还要出一章!这一篇只能将两项...
正文:
填充缺失值
1. 使用常数填充
- 填充缺失值是数据预处理的重要步骤之一。
- 使用常数填充缺失值是一种简单而常见的方法，可以将缺失值替换为一个特定的常数值。
- 这种方法适用于某些情况下，特别是当缺失值与其他值没有特定的关系时。
- 在 Python 中，pandas 库提供了
.fillna()方法来实现常数填充。
案例
import pandas as pd
import numpy as np
# 创建包含缺失值的数据框
data = {'A': [1, 2, np.nan, 4, 5],
'B': [6, np.nan, 8, np.nan, 10],
'C': [np.nan, 12, 13, 14, 15]}
df = pd.DataFrame(data)
# 使用常数填充缺失值
filled_df = df.fillna(0)
print(filled_df)
在上述示例中，我们创建了一个名为 df 的数据框，其中包含了一些缺失值。然后，我们使用 .fillna() 方法，并将常数值传递给该方法（在本例中为 0）。这将用常数 0 填充数据框中的所有缺失值。
输出结果如下：
A B C
0 1.0 6.0 0.0
1 2.0 0.0 12.0
2 0.0 8.0 13.0
3 4.0 0.0 14.0
4 5.0 10.0 15.0
可以看到，缺失值被填充为常数 0。通过使用这种方法，我们可以快速填充缺失值，使数据框更完整，以便于进一步的分析和建模。
PS:选择填充常数值时要根据数据的特点和背景进行判断。常数填充可能会带来偏差，特别是当缺失值较多时。因此，在使用常数填充之前，应该进行适当的数据探索和分析，以确定最适合的填充值。
2. 使用统计量填充
当处理缺失值时，使用统计量填充是一种常见的方法。这种方法利用数据的整体或分组统计量来填充缺失值，以保持数据的总体特征.
a. 均值、中位数、众数
案例:
import pandas as pd
import numpy as np
data = {'A': [1, 2, np.nan, 4, 5],
'B': [6, np.nan, 8, np.nan, 10],
'C': [np.nan, 12, 13, 14, 15]}
df = pd.DataFrame(data)
# 使用均值填充缺失值
mean_filled_df = df.fillna(df.mean())
# 使用中位数填充缺失值
median_filled_df = df.fillna(df.median())
# 使用众数填充缺失值
mode_filled_df = df.fillna(df.mode().loc[0])
print("Mean Filled DataFrame:")
print(mean_filled_df)
print("Median Filled DataFrame:")
print(median_filled_df)
print("Mode Filled DataFrame:")
print(mode_filled_df)
在上述示例中，我们创建了一个名为df的数据框，其中包含了一些缺失值。然后，我们使用fillna()方法，将相应的统计量（均值、中位数、众数）作为参数传递给该方法来填充缺失值。在使用众数填充时，我们需要使用mode()函数来计算众数，然后选择第一个众数进行填充。
输出结果分别展示了使用均值、中位数和众数填充缺失值后的数据框。
b. 分组均值、中位数、众数填充
除了整体统计量，有时候使用分组统计量来填充缺失值更加合适。
案例:
import pandas as pd
import numpy as np
data = {'Product': ['A', 'A', 'B', 'B', 'B'],
'Value': [1, 2, np.nan, np.nan, 5]}
df = pd.DataFrame(data)
# 使用分组均值填充缺失值
group_mean_filled_df = df.groupby('Product')['Value'].transform(lambda x: x.fillna(x.mean()))
# 使用分组中位数填充缺失值
group_median_filled_df = df.groupby('Product')['Value'].transform(lambda x: x.fillna(x.median()))
# 使用分组众数填充缺失值
group_mode_filled_df = df.groupby('Product')['Value'].transform(lambda x: x.fillna(x.mode().loc[0]))
print("Group Mean Filled DataFrame:")
print(group_mean_filled_df)
print("Group Median Filled DataFrame:")
print(group_median_filled_df)
print("Group Mode Filled DataFrame:")
print(group_mode_filled_df)
在上述示例中，我们创建了一个名为df的数据框，其中包含了一些缺失值和一个Product列用于分组。然后，我们使用groupby()函数将数据按照Product列进行分组，并使用transform()方法将分组统计量应用于每个分组。最后，我们使用与之前相同的方法来填充缺失值。
输出结果展示了使用分组均值、中位数和众数填充缺失值后的数据框。
通过使用整体或分组的统计量填充缺失值，我们能够保留数据的整体特征，并提供一个合理的替代值。但是请注意，对于每种统计量填充方法，我们应该根据数据集和特定情况来选择!
3. 插值法填充
- 当处理缺失值时，插值法是一种常见的方法之一。插值法基于已知数据点之间的趋势进行估计，在缺失值处填充一个介于两个已知数据点之间的值。这种方法可以比较准确地估计缺失值，并保留数据的整体特征。
- 在Python中，pandas库提供了
.interpolate()函数，该函数可以根据不同的插值方法来填充缺失值。
a. 线性插值法
线性插值法假设数据点之间的趋势是线性的，并通过在两个已知数据点之间进行线性插值来估计缺失值。
案例
import pandas as pd
import numpy as np
data = {'A': [1, 2, np.nan, 4, 5],
'B': [6, np.nan, 8, np.nan, 10],
'C': [np.nan, 12, 13, 14, np.nan]}
df = pd.DataFrame(data)
# 使用线性插值法填充缺失值
linear_interpolated_df = df.interpolate(method='linear')
print("Linear Interpolated DataFrame:")
print(linear_interpolated_df)
在上述示例中，我们创建了一个名为df的数据框，其中包含了一些缺失值。然后，我们使用.interpolate()函数，并将method参数设置为'linear'来进行线性插值。这将根据已知数据点之间的线性趋势来填充缺失值。
输出结果展示了使用线性插值法填充缺失值后的数据框。
b. 插值函数（.interpolate()）
除了线性插值法，.interpolate()函数还提供了其他插值方法，例如多项式插值、样条插值等。这些方法可以根据数据的性质选择合适的插值函数。
案例:
import pandas as pd
import numpy as np
data = {'A': [1, 2, np.nan, 4, 5],
'B': [6, np.nan, 8, np.nan, 10],
'C': [np.nan, 12, 13, 14, np.nan]}
df = pd.DataFrame(data)
# 使用插值函数（默认为线性插值）填充缺失值
interpolated_df = df.interpolate()
print("Interpolated DataFrame:")
print(interpolated_df)
在上述示例中，我们使用相同的df数据框，并应用.interpolate()函数来进行插值。由于未指定具体的插值方法，默认将使用线性插值。
输出结果展示了使用插值函数填充缺失值后的数据框。
通过使用插值法填充缺失值，我们可以基于已知数据点的趋势估计缺失值，并尽量保留数据的整体特征。请注意，在选择插值方法时，应该根据你的数据集和特定情况来选择最适合的方法。
4. 拟合和预测填充
处理特定类型的缺失值
1.时间序列数据缺失值处理
当处理时间序列数据时，缺失值的处理需要考虑时间的顺序和相关性。下面是一些常见的处理时间序列数据缺失值的方法：
- a. 前向填充/向前填充：使用该方法，将缺失值填充为前一个时间点的值。这种方法假设缺失值与之前的观测值相似。
- b. 后向填充/向后填充：使用该方法，将缺失值填充为后一个时间点的值。这种方法假设缺失值与之后的观测值相似。
- c. 线性插值：通过在已知数据点之间进行线性插值来填充缺失值。
- d. 时序插值法：使用时序插值方法（如拉格朗日插值法、Hermite插值法）来填充缺失值。这些方法可以基于时间序列数据的特性进行更准确的估计。
案例:
假设你是一家电力公司的数据分析师，你负责分析公司每日的电力生产数据。然而，由于技术故障或其他原因，某些日期的数据出现了缺失值。现在你需要处理这些时间序列数据的缺失值，以便让数据分析变得更加准确和可靠。
以下是你可以使用的不同方法来处理时间序列数据缺失值：
-
前向填充/向前填充：
- 假设缺失值与之前的观测值相似，你可以使用前一个时间点的值来填充缺失值。
- 例如，如果2020年1月2日的电力生产数据缺失，你可以使用2020年1月1日的数据来填充。
-
后向填充/向后填充：
- 假设缺失值与之后的观测值相似，你可以使用后一个时间点的值来填充缺失值。
- 例如，如果2020年12月30日的电力生产数据缺失，你可以使用2020年12月31日的数据来填充。
-
线性插值：
- 通过在已知数据点之间进行线性插值来填充缺失值，这种方法假设数据的变化是线性的。
- 例如，如果2020年1月1日和2020年1月5日的电力生产数据已知，你可以使用这两个数据点之间的线性趋势来填充2020年1月2日至2020年1月4日的缺失值。
-
时序插值法：
- 使用时序插值方法，如拉格朗日插值法或Hermite插值法，来填充缺失值。
- 这些方法基于时间序列数据的特性进行更准确的估计，并考虑更多数据点的信息。
import pandas as pd
# 创建示例时间序列数据
data = {'日期': ['2020-01-01', '2020-01-02', '2020-01-03', '2020-01-04', '2020-01-05'],
'电力生产': [100, None, 120, None, 130]}
df = pd.DataFrame(data)
# 将日期设置为索引，并将其转换为时间戳类型
df['日期'] = pd.to_datetime(df['日期'])
df.set_index('日期', inplace=True)
# 前向填充/向前填充
df_ffill = df.ffill()
# 后向填充/向后填充
df_bfill = df.bfill()
# 线性插值
df_linear = df.interpolate()
# 时序插值法（拉格朗日插值法）
df_lagrange = df.interpolate(method='lagrange')
# 打印处理后的数据
print("原始数据：")
print(df)
print("\n前向填充/向前填充：")
print(df_ffill)
print("\n后向填充/向后填充：")
print(df_bfill)
print("\n线性插值：")
print(df_linear)
print("\n时序插值法（拉格朗日插值法）：")
print(df_lagrange)
最终输出:
原始数据：
电力生产
日期
2020-01-01 100.0
2020-01-02 NaN
2020-01-03 120.0
2020-01-04 NaN
2020-01-05 130.0
前向填充/向前填充：
电力生产
日期
2020-01-01 100.0
2020-01-02 100.0
2020-01-03 120.0
2020-01-04 120.0
2020-01-05 130.0
后向填充/向后填充：
电力生产
日期
2020-01-01 100.0
2020-01-02 120.0
2020-01-03 120.0
2020-01-04 130.0
2020-01-05 130.0
线性插值：
电力生产
日期
2020-01-01 100.000000
2020-01-02 106.666667
2020-01-03 113.333333
2020-01-04 120.000000
2020-01-05 130.000000
时序插值法（拉格朗日插值法）：
电力生产
日期
2020-01-01 100.0
2020-01-02 107.5
2020-01-03 120.0
2020-01-04 120.0
2020-01-05 130.0
2.文本数据缺失值处理
处理文本数据的缺失值需要考虑文本的特殊性以及缺失值的含义。以下是一些常见的处理文本数据缺失值的方法：
- a. 删除缺失值：如果缺失值在文本数据中没有特定的含义或无法根据其他信息进行估计，可以选择删除缺失值所在的行或列。
- b. 手动填充：对于一些特定的文本数据，你可以使用专业知识或其他途径进行手动填充缺失值。这通常适用于少量的缺失值。
- c. 使用占位符：将缺失值替换为特定的占位符，以表示缺失值的存在。
- d. 自然语言处理（NLP）方法：使用自然语言处理技术，如基于上下文的方法或文本生成模型，来估计缺失值。
案例
假设你是一家电商公司的数据分析师，负责分析顾客的评论数据。然而，由于用户提交数据的问题或其他原因，一些评论存在缺失值。现在你需要处理这些文本数据的缺失值，以便进行情感分析或其他分析任务。
import pandas as pd
# 创建示例评论数据
data = {'评论': ['这个产品真的很棒！', '我觉得它还行。', None, '这个让我失望了。']}
df = pd.DataFrame(data)
# 删除缺失值
df_dropna = df.dropna()
# 手动填充
df_fill_manual = df.fillna('缺失评论')
# 使用占位符
df_placeholder = df.fillna('[缺失评论]')
# 打印处理后的数据
print("原始数据：")
print(df)
print("\n删除缺失值：")
print(df_dropna)
print("\n手动填充：")
print(df_fill_manual)
print("\n使用占位符：")
print(df_placeholder)
运行以上代码，输出将会是：
原始数据：
评论
0 这个产品真的很棒！
1 我觉得它还行。
2 None
3 这个让我失望了。
删除缺失值：
评论
0 这个产品真的很棒！
1 我觉得它还行。
3 这个让我失望了。
手动填充：
评论
0 这个产品真的很棒！
1 我觉得它还行。
2 缺失评论
3 这个让我失望了。
使用占位符：
评论
0 这个产品真的很棒！
1 我觉得它还行。
2 [缺失评论]
3 这个让我失望了。
在上述代码中，我们首先创建了一个示例评论数据，并将其存储在DataFrame中。然后，我们分别使用删除缺失值（dropna），手动填充（fillna）和使用占位符（fillna）的方法来处理缺失值，并将处理后的数据打印输出。
这个例子展示了如何使用pandas库来处理文本数据的缺失值。根据具体情况和需求，你可以选择适合你的数据的方法，并进行相应的调整和优化。
总结：
在处理特定类型的缺失值时，需要考虑数据的特殊性和缺失值的含义。对于时间序列数据，可以使用前向填充、后向填充、线性插值或时序插值法来填充缺失值。对于文本数据，可以选择删除缺失值、手动填充、使用占位符或借助自然语言处理方法进行估计。根据具体情况，选择最适合的方法可以更好地保留数据的特征和准确性。
扫一扫
811
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
