python对数据的描述和一些预处理

最新推荐文章于 2022-01-29 16:32:51 发布

qq_40729302

最新推荐文章于 2022-01-29 16:32:51 发布

阅读量498

点赞数

分类专栏：起步学习记录

本文链接：https://blog.csdn.net/qq_40729302/article/details/109168610

版权

起步学习记录专栏收录该内容

13 篇文章 0 订阅

订阅专栏

首先读入一个数据作准备

from pandas import read_csv
from matplotlib import pyplot
filename='housing.csv'
names=['1','2','3','4','5','6','7','8','9','10','11','12','13','14']
#数据共14列，为每一列取一个名字
data=read_csv(filename,names=names,delim_whitespace=True)
#csv文件以空格分隔，所以delim_whitespace为True

描述性统计信息

print(data.describe())

在这里插入图片描述
此函数会输出数据的最大值，最小值，中位数，四分位数，方差，均值等，可以加深对数据分布的理解。

数据特征之间的关联关系

print(data.corr(method='pearson'))

在这里插入图片描述

上边的代码查看了数据的皮尔逊相关系数，皮尔逊相关系数>07或者<-0.7表示这些特征属性之间有强关联关系。

数据可视化

直方图

data.hist(sharex=False,sharey=False,xlabelsize=1,ylabelsize=1)
pyplot.show()

hist接口的定义：

DataFrame.hist(column=None, by=None, grid=True, xlabelsize=None, xrot=None, ylabelsize=None, yrot=None, ax=None, sharex=False, sharey=False, figsize=None, layout=None, bins=10, **kwds)

各参数作用：
在这里插入图片描述
图片来自于（https://blog.csdn.net/u011240016/article/details/85075968）

密度图

密度图比直方图更加平滑的展示了数据的分布特征

data.plot(kind='density',subplots=True,layout=(4,4),sharex=False,fontsize=1)
pyplot.show()

在这里插入图片描述

箱线图

箱形图（Box-plot）又称为盒须图、盒式图或箱线图，是一种用作显示一组数据分散情况资料的统计图。箱线图的绘制方法是：先找出一组数据的上边缘、下边缘、中位数和两个四分位数；然后，连接两个四分位数画出箱体；再将上边缘和下边缘与箱体相连接，中位数在箱体中间。

data.plot(kind='box',subplots=True,layout=(4,4),sharex=False,fontsize=1)
pyplot.show()

在这里插入图片描述

散点图矩阵

对高维数据进行可视化，一个常用的方法是散点图。对于具有2个以上维度的数据，可以使用散点图矩阵(scatterplot matrix)，其中每一个视图是某2个维度的散点图。因为当欲同时考察多个变量间的相关关系时，若一一绘制它们间的简单散点图，十分麻烦。此时可利用散点图矩阵来同时绘制各自变量间的散点图，这样可以快速发现多个变量间的主要相关性。
绘制过程如下：

from pandas import read_csv
from pandas.plotting import scatter_matrix
from matplotlib import pyplot

filename='housing.csv'
data=read_csv(filename,delim_whitespace=True)
scatter_matrix(data)
pyplot.show()

结果为：
在这里插入图片描述

相关矩阵图

相关矩阵也叫相关系数矩阵，其是由矩阵各列间的相关系数构成的。也就是说，相关矩阵第i行第j列的元素是原矩阵第i列和第j列的相关系数。

相关矩阵图的目的是探索两个事物之间的关系。实际应用中，我们常常需要探索多个变量的两两之间的相关性。

相关系数：绝对值越接近1，相关性越强，1指的是完全正相关，-1指的是完全负相关，0表示完全无关

import numpy as np
names=['1','2','3','4','5','6','7','8','9','10','11','12','13','14']
fig=pyplot.figure()
ax=fig.add_subplot(111)
cax=ax.matshow(data.corr(),vmin=-1,vmax=1,interpolation='none')
fig.colorbar(cax)
ticks=np.arange(0,14,1)
ax.set_xticks(ticks)
ax.set_yticks(ticks)
ax.set_xticklabels(names)
ax.set_yticklabels(names)
pyplot.show()

在这里插入图片描述
数据特征属性之间的两两相关性，有些属性之间是强相关的，建议在后续的处理中移除这些特征属性，以提高算法的准确度。