数据分析与数据挖掘实战视频——学习笔记（八）(数据清洗(缺失值和异常值处理)、数据分布探索、数据集成)

网址：【数据挖掘】2019年最新python3 数据分析与数据爬虫实战_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili https://www.bilibili.com/video/av22571713/?p=51

数据探索与数据清洗概述

数据探索与数据与清洗概述：
数据探索的目的是急躁发现数据的一些简单规律或特征，
数据清洗的目的是留下可靠数据，避免脏数据的干扰。
这两者没有严格的先后顺序，经常在一个阶段进行。

就是我们刚拿到数据，我们进行数据探索，找出数据的简单规律，二则是拿到的数据可能不可靠，有些数据可能写入，爬取等等原因变得不可靠了，变成脏数据，所以要把脏数据排除或者将不可靠的数据修正成可靠数据（特别是数据量比较少的时候），这个也可以说是数据修补。而且数据探索和数据清洗经常在一个阶段进行。

数据探索核心
1、数据质量分析（跟数据清晰密切联系）
2、数据特征分析（分布、对比、周期性、相关性、常见统计量等）

数据特征分析，目的是发现数据的基本规律，
分布：发现数据的分布情况，正态分布，其他分布……根据分布，可以知道数据的大致走势。
对比：将多组数据放到一起，比较他们的情况，比如说之前说的多个着现在同一张图上面，找他们的规律。
周期性：我们可以看他是否具有周期性
相关性：找横轴纵轴之间的规律
常见统计量：比如说分位数，平均数，统计的计量分析……

我们可以初步发现一些规律，这只是数据探索。

数据清洗实战

数据清洗可以按如下步骤进行：
1、缺失值处理（通过describe和len直接发现，通过0数据发现）
通过describe和len的数的差别可以找到缺失值
通过0数据发现,通过实际中不可能为0的数据，但显示为0的数据，是为缺失值。
2、异常值处理（通过散点图发现）
异常值可能是爬取错误，可能是有人刷数据，可能是这个性能特别好。
缺失值处理方式
一般遇到缺失值，处理方式为删除，插补，不处理；
删除不适用于数据比较少，这样很影响数据。
插补的方式主要有：均值插补，中位数插补，众数插补、固定值插补、最近数据插补、回归插补、拉格朗日插值、牛顿插值法、分段插值等等。
异常值处理方式
遇到异常值，一般的处理方式是是为缺失值，删除、修补（平均数、中位数等等）、不处理。
接下来以淘宝零食类商品数据为例进行实战讲解。
我没有这个数据，我考虑用京东或者当当图书或者天山智能的数据。
这个是淘宝的零食类商品数据，感觉和我们的京东数据比较像，可惜我没有爬取评论数。那我试着从新爬一下当当的数据，加一个价格吧。
当当网数据可以看这个链接：数据分析与爬虫实战视频——学习笔记（四）（糗事百科、天善智能、当当商城、sql输出）

上面这个是淘宝的零食类商品数据，下面这个是我刚才爬取的当当商城程序设计类商品数据。

老师好像用的是phpMyAdmin(MySQL数据库管理)打开了本地文件（http://127.0.0.1/phpmyadmin ），我也看了一下相关信息：phpMyAdmin使用教程。暂时先不下载这个，我看看能否直接使用。

#导入数据
import pymysql
import numpy as np
import pandas as pda
conn=pymysql.connect(host="127.0.0.1",user="root",password="密码",db="dd")
sql="select * from books2"
data=pda.read_sql(sql,conn)

print(data.describe)

哦哦，原来我数据库里面都是char类型的，没有数字，那就用处理后的csv数据吧

嗯嗯，所以还是要加括号的。

老师视频里面的数据图是这个：

从这个图里面我们可以看到个数，平均数，标准差，最小值，最大值，4分位数值。
价格最小值为0很明显不正常，45万的最大评论数据也可能不正常。
我的数据里面没有这个问题。继续。

这两个一样，所以说没有缺失值。再则可以把价格等于0的数据视为缺失值。
我们可以找到价格为0的数据改成中位数或者平均数，建议最好是用中位数。也就是中位数插补，我们也可以用拉格朗日插补，牛顿法插补等等。

我的数据里面没有0,所以我随意选一些数据改成0吧。

针对这个数据是有等于0的缺失数据了。

我们继续看怎么处理。

#isnull

#导入数据
import numpy as np
import pandas as pda
data=pda.read_csv("E:/FHLAZ/sql_document/books2.csv",encoding='ANSI')
print(data.describe())
#数据清洗
#发现缺失值
x=0
data["price"][(data["price"]==0)]=None#(data["price"]==0)是条件
for i in data.columns:#i就是data的列 
    #print(i)  title  link  price comment
    for j in range(len(data)):#数据的列的个数
        if(data[i].isnull()[j]):#data[i].isnull()给出一列是否为空的数据，j确定了那个数据，T的话就可以替换了。
            data[i][j]="43.20"
            x+=1
print(x)
print(data.describe())

中间的红色的字是警告，而不是错误。
我加了一个忽略警告的代码，看起来舒服一点。
接下来讲理：

#导入数据
import warnings
warnings.filterwarnings("ignore", category=Warning)

import numpy as np
import pandas as pda
import matplotlib.pylab as pyl
data=pda.read_csv("E:/FHLAZ/sql_document/books2.csv",encoding='ANSI')
print(data.describe())
#数据清洗
#发现缺失值
x=0
data["price"][(data["price"]==0)]=None#(data["price"]==0)是条件
for i in data.columns:#i就是data的列 
    #print(i)  title  link  price comment
    for j in range(len(data)):#数据的列的个数
        if(data[i].isnull()[j]):#data[i].isnull()给出一列是否为空的数据，j确定了那个数据，T的话就可以替换了。
            data[i][j]="43.20"
            x+=1
print(x)
print(data.describe())

#异常值处理
#画散点图（横轴价格，纵轴评论数）
#得到价格
data2=data.T
price=data2.values[2]
#得到评论数
comment=data2.values[3]
pyl.plot(price,comment,"o")
pyl.show()

这个是老师视频里的图：

看这个图，老师说左边最上面的两个点偏移了我们主要点聚集地，可能是异常的，
看右边最下面的，比如说2000往上，也可以视为异常的，但实际上感觉价格低，买的人多，评论多也正常，价格高，买的人少，评论少也正常，不过先这么算吧，要有异常值处理。

#评论数异常>200000 价格异常>2300
#我的图里面就评论数异常>40000 价格异常>150
line=len(data.values)#行数254
col=len(data.values[0])#列数
da=data.values#data数据

python怎么将带小数的字符串 转换可以计算的数值类型
python2参考：python 数字类型和字符串类型的相互转换
python3:

>>> a = '12.3456'
>>> float(a)
12.3456

#评论数异常>200000 价格异常>2300
#我的图里面就评论数异常>40000 价格异常>150
line=len(data.values)#行数254
col=len(data.values[0])#列数
da=data.values#data数据
for i in range(0,line):
    for j in range(0,col):
        if(float(da[i][2])>150):
            print(da[i])#输出异常数据
            da[i][2]="43.20"#其实我感觉太复杂了，可以直接用da[i][2]了。

我的结果：

老师的异常数据图：

我们从图中可以发现异常数据多人参花胶这一类滋补品，我们还可以打开链接看看爬取是否出错。

我的爬取代码和图：

#评论数异常>200000 价格异常>2300
#我的图里面就评论数异常>40000 价格异常>150
line=len(data.values)#行数254
col=len(data.values[0])#列数
da=data.values#data数据
for i in range(0,line):
    for j in range(0,col):
        if(float(da[i][2])>150):
            print(da[i])#输出异常数据
            da[i][2]="43.20"#其实我感觉太复杂了，可以直接用da[i][2]了。
            print("__________________")
        
        
        if(float(da[i][3])>40000):
            print(da[i])#输出异常数据
            da[i][3]="40"#其实我感觉太复杂了，可以直接用da[i][2]了。
            print("__________________")

  

处理之后的图：变得密集了。

da2=da.T
price=da2[2]
comment=da2[3]
pyl.plot(price,comment,"o")
pyl.show()

数据探索与数据清洗整体代码

#导入数据
import warnings
warnings.filterwarnings("ignore", category=Warning)

import numpy as np
import pandas as pda
import matplotlib.pylab as pyl
data=pda.read_csv("E:/FHLAZ/sql_document/books2.csv",encoding='ANSI')
#print(data.describe())
#数据清洗
#发现缺失值
x=0
data["price"][(data["price"]==0)]=None#(data["price"]==0)是条件
for i in data.columns:#i就是data的列 
    #print(i)  title  link  price comment
    for j in range(len(data)):#数据的列的个数
        if(data[i].isnull()[j]):#data[i].isnull()给出一列是否为空的数据，j确定了那个数据，T的话就可以替换了。
            data[i][j]="43.20"
            x+=1
#print(x)
print(data.describe())

#异常值处理
#画散点图（横轴价格，纵轴评论数）
#得到价格
data2=data.T
price=data2.values[2]
#得到评论数
comment=data2.values[3]
#pyl.plot(price,comment,"o")
#pyl.show()


#评论数异常>200000 价格异常>2300
#我的图里面就评论数异常>40000 价格异常>150
line=len(data.values)#行数254
col=len(data.values[0])#列数
da=data.values#data数据
for i in range(0,line):
    for j in range(0,col):
        if(float(da[i][2])>150):
            #print(da[i])#输出异常数据
            da[i][2]="43.20"#其实我感觉太复杂了，可以直接用da[i][2]了。
            #print("__________________")
        
        
        if(float(da[i][3])>40000):
            #print(da[i])#输出异常数据
            da[i][3]="40"#其实我感觉太复杂了，可以直接用da[i][2]了。
            #print("__________________")

            
da2=da.T
price=da2[2]
comment=da2[3]
pyl.plot(price,comment,"o")
pyl.show()

数据分布探索实战

探索数据的分布规律，非常有用，有时可以直接发现数据规律。
由于没有老师的淘宝零食类商品数据，因此使用当当的数据为例进行实战讲解。也就是和数据清洗的数据集一样。

我先说下我遇到的问题吧，我要画散点图，但是我的price是这个


直接求最大值格式也有问题，我也考虑过

for i in range(0,len(price)):
    price[i]=float(price[i])
    comment[i]=float(comment[i])

用这个代码可以运行，但是


总感觉有问题。

后来找到一个代码Numpy —— 数据类型对象 (dtype)
改了代码试试

#分布分析      主要是评论数和价格，上下界，组距

price=price.astype(np.float64)
comment=comment.astype(np.float64)
pricemax=price.max()
pricemin=price.min()
commentmax=comment.max()
commentmin=comment.min()
#极差rg：最大值-最小值
pricerg=pricemax-pricemin
commentrg=commentmax-commentmin
#组距st   设置多少合适？极差/组数
pricest=pricerg/12
commentst=commentrg/12
#画价格的直方图

pricesty=np.arange(pricemax,pricemin,pricest)
pyl.hist(price)
pyl.show()

有图，但是，我们想要运行这个pyl.hist(price,pricesty)

报错。不好意思，我把最大值和最小值放错位置了pricesty=np.arange(pricemin,pricemax,pricest)

#分布分析      主要是评论数和价格，上下界，组距

price=price.astype(np.float64)
comment=comment.astype(np.float64)
pricemax=price.max()
pricemin=price.min()
commentmax=comment.max()
commentmin=comment.min()
#极差rg：最大值-最小值
pricerg=pricemax-pricemin
commentrg=commentmax-commentmin
#组距st   设置多少合适？极差/组数
pricest=pricerg/12
commentst=commentrg/12
#画价格的直方图

pricesty=np.arange(pricemin,pricemax,pricest)
#pyl.hist(price,pricesty)
#pyl.show()

#画评论的直方图
commentsty=np.arange(commentmin,commentmax,commentst)
pyl.hist(comment,commentsty)
pyl.show()

价格的直方图出来了。
评论直方图

老师的图是

这个图形可以发现数据主要集中在价格比较低的时候。
评论直方图

评论主要集中在价格比较低的时候。

数据集成实战

数据集成概述

数据集成一般是把不同来源的数据放在一起。但是来自多个地方的数据一定要做好实体识别与冗余数据识别，避免数据整合错误以及数据重复。

比如说有四个数据库，不同名字的数据可能代表同一含义，同一个名字的数据可能是不同含义，这些都需要整理，不可以整合错误。

数据集成技巧

一般来说，数据集成的过程如下：
1、观察数据源，发现其中关系，详细查看是否有同名不同意，同意不同名的情况。
2、进行数据读取与整合。（pandas）
3、去除重复数据。

import numpy as np
a=np.array([[1,4,5],[6,7,39]])
b=np.array([[13,44,52],[62,27,49]])
c=np.concatenate((a,b))