【大数据处理与可视化】四、数据预处理

---

实验目的

1. 能够熟练运用数据清洗的常见操作检查和处理各类有问题的数据；
2. 能够熟练运用数据合并的常用方法对数据进行合并；
3. 能够掌握数据重塑的常见操作重塑pandas对象的结构；
4. 能够掌握数据转换的常见操作，实现离散化和哑变量处理；

---

实验内容

       预处理部分地区信息：给定北京和天津地区的统计信息，这些数据中都或多或少的存在一些问题，如重复的数据、缺失的数据。请使用Pandas对爬取的数据进行预处理操作，具体包括：检查重复数据，一旦发现有重复的数据，就需要将其进行删除。检查缺失值，为了保持数据的完整性，通常会使用某个数据填充；检查异常，一旦发现数据中存在异常，通常先要对原始数据进一步确认，如果是错误的数值，则直接使用正确的数值进行替换。

---

实验步骤

一、案例——预处理部分地区信息

1、导包

代码：

import pandas as pd
import numpy as np

---

2、读取文件

代码：

data_bj=pd.read_csv("D://Beijing.csv",encoding='gbk')
data_tj=pd.read_csv("D://Tianjin.csv",encoding='gbk')
print(data_bj)
print(data_tj)

截图：

---

3、检查并删除重复数据

北京

代码：

repead=data_bj.duplicated()
print(repead)

截图：

天津（无重复数据）

代码：

repead=data_tj.duplicated()
print(repead)

截图：

---

4、检查缺失值

北京（无缺失值）

代码：pd.isnull(data_bj)
截图：

天津（向前填充）

代码：

pd.isnull(data_tj)
data_tj=data_tj.fillna(method='ffill')
data_tj

截图：

---

5、检查异常

北京（无异常）

代码：

#定义函数
def three_sig(ser1):
  mean_value=ser1.mean()
  std_value=ser1.std()
  rule=(mean_value-3*std_value>ser1)|(ser1.mean()+3*ser1.std()<ser1)
  index=np.arange(ser1.shape[0])[rule]
  outrange=ser1.iloc[index]
  return outrange
#北京（无异常）
print(three_sig(data_bj['行政面积（K㎡）']))
print(three_sig(data_bj['户籍人口（万人）']))
print(three_sig(data_bj['男性']))
print(three_sig(data_bj['女性']))
print(three_sig(data_bj['GDP（亿元）']))
print(three_sig(data_bj['常住人口（万人）']))
#天津
print(three_sig(data_tj['行政面积（K㎡）']))
print(three_sig(data_tj['户籍人口（万人）']))
print(three_sig(data_tj['男性']))
print(three_sig(data_tj['女性']))
print(three_sig(data_tj['GDP（亿元）']))
print(three_sig(data_tj['常住人口（万人）']))

data_tj.boxplot(column=['行政面积（K㎡）','户籍人口（万人）','男性','女性','GDP（亿元）','常住人口（万人）'])

截图：

---

天津异常值处理

代码：

#天津异常值处理
data_tj=data_tj.replace(to_replace=6654.0,value=665.4)
data_tj=data_tj.replace(to_replace=299.42,value=29.942)
data_tj

截图：

---

实验小结

       通过本次实验，我能熟练运用数据清洗的常见操作检查和处理各类有问题的数据，其中包括重复值的查询和处理，缺失值的查询和处理，基于three_sig和基于箱型图的异常值的查询处理。在实验过程中遇到了很多硬件或者是软件上的问题，请教老师，询问同学，上网查资料，都是解决这些问题的途径。最终将遇到的问题一一解决最终完成实验。
注意事项：
1、有疑问前，知识学习前，先用搜索。
2、熟读写基础知识，学得会不如学得牢。
3、选择交流平台，如QQ群，网站论坛等。
4、尽我能力帮助他人，在帮助他人的同时你会深刻巩固知识。