Python数据分析：数据预处理

数据预处理：

数据的预处理是在对数据分类和分组之前所做的必要处理，内容包括数据的审核、筛选、排序等。当使用爬虫从网上获取数据时，获得的数据往往存在缺失、异常、格式不正确等情况。面对这些状况百出的原始数据，数据的预处理就显得尤为重要，数据分析师们往往也会在数据预处理上花费许多时间。

1. 数据审核

2. 数据筛选

3. 数据排序

数据审核：

数据审核就是检查数据中是否有错误。对于原始数据，主要从完整性（是否存在NA）和准确性（是否存在异常）两个方面去审核。

补充：一些二手数据应着重审核数据的适用性和时效性。数据不能生搬硬套，对于时效性较强的问题，如果所取得的数据过于滞后，就可能失去研究意义。

利用Python进行数据审核：

• 检测缺失数据

In [4]: string_data = pd.Series(['aardvark', 'artichoke', np.nan, 'avocado'])

In [5]: string_data # 第3条观测存在NAN值
Out[5]:
0     aardvark
1    artichoke
2