pandas数据清洗的常用方法

1. 数据类型转换

将数据转换为适当的类型，以确保数据分析的正确性。

df['column'] = df['column'].astype('int')

2. 空值填充

除了使用固定值或统计值填充外，还可以使用模型预测的值填充缺失值。

3. 数据规范化

将数据缩放到特定的范围，如[0, 1]，通常用于机器学习算法的输入。

df['column'] = (df['column'] - df['column'].min()) / (df['column'].max() - df['column'].min())

4. 数据标准化

调整数据的尺度，使其具有零均值和单位方差。

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
df['column'] = scaler.fit_transform(df[['column']])

5. 特征编码

将分类数据转换为数值形式，如使用独热编码（One-Hot Encoding）。

df = pd.get_dummies(df, columns=['category_column'])

6. 特征哈希

对高维特征进行哈希处理，以减少维度。

from sklearn.feature_extraction import FeatureHasher
hasher = FeatureHasher()
df['encoded_features'] = hasher.transform(df['text_column'])

7. 数据离散化

将连续特征转换为离散的区间。

df['binned_column'] = pd.cut(df['continuous_column'], bins=5)

8. 数据平滑

对时间序列数据进行平滑处理，以减少随机波动。

df['smoothed_column'] = df['time_series_column'].rolling(window=5).mean()

9. 主成分分析（PCA）

使用PCA降低数据的维度，同时保留数据的主要变化。

from sklearn.decomposition import PCA
pca = PCA(n_components=2)
df_pca = pca.fit_transform(df[['feature1', 'feature2']])

10. 时间数据解析

对时间序列数据进行解析，提取年、月、日等信息。

df['date_column'] = pd.to_datetime(df['date_column'])
df['year'] = df['date_column'].dt.year
df['month'] = df['date_column'].dt.month

11. 数据集划分

将数据集划分为训练集和测试集。

from sklearn.model_selection import train_test_split
train_set, test_set = train_test_split(df, test_size=0.2)

12. 数据采样

对类别不均衡的数据进行采样，以平衡类别分布。

from sklearn.utils import resample
df_majority = resample(df_majority, replace=True, n_samples=len(df_minority))

13. 缺失值插补

使用K-最近邻（KNN）等方法插补缺失值。

from sklearn.impute import KNNImputer
imputer = KNNImputer(n_neighbors=5)
df_imputed = imputer.fit_transform(df)

14. 特征选择

选择对模型预测最有用的特征。

from sklearn.feature_selection import SelectKBest
selector = SelectKBest(k=5)
df_selected = selector.fit_transform(df, target)

结论

数据预处理是数据分析和机器学习中的重要步骤。Pandas提供了丰富的数据预处理功能，从数据类型转换到特征工程，再到数据集的划分和采样，这些技术帮助我们提高数据的可用性和分析的准确性。掌握这些数据预处理技术，可以为数据科学项目的成功奠定坚实的基础。

进一步学习

• 探索更多的数据转换方法，如使用map()和apply()函数。
• 学习如何使用Pandas进行复杂的时间序列分析。
• 了解不同特征工程方法对机器学习模型性能的影响。