Python数据分析与挖掘实战_张良均

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/du_lun/article/details/89357392

一、Python数据分析工具

 

二、数据探索

一、对数据的质量分析

异常值的分析:

1. 简单的统计量分析:查看最大最小值是否在合理范围

2.3δ原则,在正态分布下异常值被定义为一组定值与平均值的距离超过3倍的标准差。

3.箱形图分析:

异常值被定义为小于QL-1.5IQR 或大于QR+1.5IQR  

QL是所有数据的下四分位,QR是所有数据的上四分位。IQR是QR-QL

DataFrame中describe()已经给出了基本的统计

二、数据特征分析

1.可以使用pandas、matplotlib绘制统计图

散点图矩阵可以分析每两个变量的关系。

2.计算相关系数

①Pearson相关系数

②Spearman秩相关系数

③判定系数

使用pandas的corr()计算相关系数

绘制条形图和折线图

 

三、数据预处理

缺失

插值法主要用两类:

拉格朗插值(python scipy库中有)、牛顿插值。

 

数据变换

使用简单的函数如:x'=x^2  x'=sqrt(x)  x'=log(x)

 

规范化

①最小最大规范化

②零-均值规范化:将数据处理成均值为0,标准差为1

③小数定标规范化

 

 

连续属性离散化

数据规约:产生更小保持原数据完整性的新数据集。

主要方法有合并属性、决策树归纳、主成分分析

数值规约:????

 

 

四、挖掘建模

1、分类 预测

 

2、聚类分析

 

 

展开阅读全文

没有更多推荐了,返回首页