【数据清洗】简单知识点整理（python）

首先观察数据，然后进行操作是数据处理的重要步骤，通常是数据预处理的第一步，目的是使数据更具可分析性和可用性。下面是关于这个过程的扩展知识点：

1. 数据观察和探索： 在处理数据之前，首先需要对数据进行初步的观察和探索。这包括查看数据的前几行，了解数据的结构和格式，以及理解数据中包含的变量和特征。这一步有助于确定数据处理的方向。

   import pandas as pd
   
   # 读取数据
   data = pd.read_csv('data.csv')
   
   # 查看数据的前几行
   print(data.head())
   
   # 数据的结构和基本信息
   print(data.info())
   
   # 统计描述
   print(data.describe())
   

2. 删除无用列（特征选择）： 数据集通常包含大量的列，其中某些列可能对分析或建模无用。在数据观察的基础上，可以删除那些不提供有用信息或无关紧要的列，从而简化数据集，提高处理效率。

   # 删除无用列
   data = data.drop(['unwanted_column1', 'unwanted_column2'], axis=1)
   

3. 类型转换： 数据通常以不同的数据类型存储，例如整数、浮点数、字符串等。在处理数据时，可能需要将某些列的数据类型进行转换，以便更好地进行计算和分析。

   # 转换列的数据类型
   data['numeric_column'] = data['numeric_column'].astype(float)
   

4. 删除重复行： 数据中可能包含重复的记录，这些重复记录可能会导致分析结果不准确。因此，在数据处理过程中，通常需要查找和删除重复的行。

   # 删除重复行
   data = data.drop_duplicates()
   

5. 数据映射： 数据映射是将原始数据中的某些值映射到其他值或类别的过程。这通常用于将数据离散化或将连续数据分组成离散类别，以便更好地理解和分析数据。

   # 使用字典进行数据映射
   data['category_column'] = data['category_column'].map({'A': 1, 'B': 2, 'C': 3})
   

6. 缺失值处理： 数据中的缺失值是常见的问题，需要采取适当的策略来处理它们，例如填充缺失值、删除包含缺失值的行或列，或使用插值方法来估计缺失值。

   # 填充缺失值
   data['missing_column'] = data['missing_column'].fillna(0)
   
   # 删除包含缺失值的行
   data = data.dropna()
   
   # 使用插值方法估计缺失值
   data['missing_column'] = data['missing_column'].interpolate()
   

7. 字符串拆分： 当数据中的字符串包含多个部分或信息时，可能需要将其拆分成单独的列，以便更好地分析和使用这些信息。这通常涉及到使用字符串函数或正则表达式来执行拆分操作。

# 字符串拆分
data['first_name'] = data['full_name'].str.split(' ', expand=True)[0]
data['last_name'] = data['full_name'].str.split(' ', expand=True)[1]