数据探索与数据清洗

一 数据探索

数据探索的目的是及早的发现数据的一些简单规律或特征,数据清洗的目的是留下可靠的数据,避免脏数据的干扰.

数据探索的核心是:

1. 数据质量分析(跟数据清洗密切联系)
2. 数据特征分析(分布,对比,周期性,相关性,常见统计量等)

二 数据清洗

数据清洗可以按如下步骤进行

1. 缺失值处理(通过describe与len发现,通过0数据发现)
2. 异常值处理(通过散点图发现)
3. 异常值处理(通过散点图发现)

缺失值,处理方式为(删除,插补,不处理);

插补的方式主要有:均值插补,中位数插补,众数插补,固定值插补,最近数据插补,回归插补,拉格朗日插值,牛顿插值法,分段插值等等.

遇到异常值,一般处理方式为视为缺失值,删除,修补(平均数,中位数等),不处理.

插补法处理(中位数)

# coding=utf-8
import pandas as pd
import numpy as np
data = pd.read_csv("taobao.csv")
print(data.describe())

结果为: