python实验二数据预处理_数据清洗与预处理-Python实现

这个Python版本必须是3.7的

首先讲一下数据清洗与预处理的定义

在百度百科中的定义是 - 数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。

我自己理解的是，在我们不管是机器学习建模还是进行数据分析或者数据挖掘操作，我们首先都需要对数据进行预处理。我们拿到手的初始数据往往会存在缺失值、重复值、异常值或者错误值，影响实验结果，我们就需要进行数据清洗。或者是想要保持数据的一致性，也可以数据清洗。有时数据的原始变量不满足分析的要求，我们需要先对数据进行一定的处理，也就是数据的预处理。

数据清洗与预处理的目的是提高数据的质量，提高实验结果的可靠度。

连接数据库

import numpy as np

from pandas import DataFrame

import pandas as pd

import matplotlib.pyplot as plt

导入数据集

假设我们有一个已知的数据集如下：

{state’:[‘a’,‘b’,‘c’,‘a’,‘b’,‘c’],

‘year’:[2018,2016,2017,2018,2016,2017],

‘average’:[87,85,88,87,85,88]},

from pandas import DataFrame

#导入数据集

data = {'state':['a','b','c','a','b','c'],

'year&