Python数据分析与挖掘实战学习04

一、Python数据分析工具

1.StatsModels

    Pandas着眼于数据的读取、处理和探索，而StatsModels则更加注重数据的统计建模分析，它使得Python有了R语言的味道。StatsModels支持与Pandas进行数据交互，因此，它与Pandas结合，成为了Python下强大的数据挖掘组合。

2.Scikit-Learn

从该库的名字可以看出，这是一个机器学习相关的库。Scikit-Learn是Python下强大的机器学习工具包，它提供了完善的机器学习工具箱，包括数据预处理、分类、回归、聚类、预测和模型分析等。

3. Keras

虽然Scikit-Learn足够强大，但是它没有包含一种强大的模型——人工神经网络。人工神经网络是功能强大的、但是原理又相当简单的模型，可以使用Keras库来搭建神经网络，事实上Keras并非简单的神经网络库，而是一个基于Theano的强大的深度学习库，利用它不仅可以搭建普通的神经网络，还可以搭建各种深度学习模型，如自编码器、循环神经网络、卷积神经网络等。

4.Gensim

    Gensim是用来处理语言方面的任务，如文本相似度计算、LDA、Word2Vec等，这些领域的任务往往需要比较多的背景知识。

二、Taylor公式-Maclaurin公式

1.定义

如果函数f(x) 在x0 处具有n+1阶导数，那么存在x0 的一个邻域，对于该邻域内的任一x ，有：

fx=fx0+f'x0x-x0+f''x02!(x-x0)2+…+fnx0n!x-x0n+Rn(x)

这个式子称为函数f(x) 在x0 的n阶Taylor泰勒公式。其中Rnx=o((x-x0)n) ，称为拉格朗日余项，表示用n次泰勒多项式来近似表示f(x) 所产生的误差，Rn(x) 的具体表现为：

Rnx=fn+1ξn+1!(x-x0)n+1

     这里的ξ 是x0 与x 之间的某个值。

     当取x0=0 时，泰勒公式表示成麦克劳林公式：

fx=f0+f'0x+f''02!x2+…+fn0n!xn+o(xn)

2.公式应用

（1）计算ex 并绘制图形

给定正实数x，计算一种可行的思路是求整数k和小数r，使得，≤ 0.5*ln2，从而：

代码如下：

其中函数calc_e(x)便是利用上述提到的思路来进行求解得到整数k和小数r。

运行结果如下：

（2）正弦函数绘制

代码如下：

运行结果如下：

（3）Gini系数的生产

代码如下：

运行结果：

三、数据质量分析

数据质量分析是数据挖掘中数据准备过程的重要一环，是数据预处理的前提，也是数据挖掘分析结论有效性的准确性的基础，没有可信的数据，数据挖掘构建的模型将是空中楼阁。

数据质量分析的主要任务是检查原始数据中是否存在脏数据，脏数据一般是指不符合要求，以及不能直接进行相应分析的数据。在常见的数据挖掘工作中，脏数据主要包括缺失值、异常值、不一致的值和重复数据及含有特殊符号（如#、￥、*）的数据。

1.缺失值分析

数据的缺失主要包括记录的缺失和记录中某个字段信息的缺失，两者都会造成分析结果的不准确。

（1）缺失值产生的原因

1）有些信息暂时无法获取，或者获取信息的代价太大。

2）有些信息是被遗漏的。可能是因为输入时认为不重要、忘记填写或对数据理解错误等一些人为因素而遗漏，也可能是由于数据采集设备的故障、存储介质的故障、传输媒体的故障等非人为原因而丢失。

3）属性值不存在。在某些情况下，缺失值并不意味着数据有错误。对一些对象来说某些属性值是不存在的，如一个未婚者的配偶姓名、一个儿童的固定收入等。

（2）缺失值的影响

1）数据挖掘建模将丢失大量的有用信息。

2）数据挖掘建模所表现出的不确定性更加显著，模型中蕴含的规律更难把握。

3）包含空值的数据会使建模过程陷入混乱，导致不可靠的输出。

（3）缺失值的分析

使用简单的统计分析，可以得到含有缺失值的属性的个数，以及每个属性的未缺失数、缺失数与缺失率等。

2.异常值分析

异常值分析是检验数据是否有录入错误以及含有不合常理的数据。忽视异常值的存在是十分危险的，不加剔除的把异常值包括进数据的计算分析过程中，对结果会产生不良影响；重视异常值的出现，分析其产生的原因，常常成为发现问题进而改进决策的契机。

异常值是指样本中的个别值，其数值明显偏离其余的观测值。异常值也称为离群点，异常值的分析也称为离群点分析。

四、Anaconda介绍

Anaconda是一个开源的工具，致力于提供最便捷的方式来使用Python进行数据科学计算和机器学习。目前，Anaconda拥有250+的数据科学工具包，conda工具包和用于Windows、MacOS和Linux三种平台的虚拟环境管理系统。实际上，Anaconda与Python类似于NPM之于Node.js之间的关系，Anaconda就是一个开源的Python包管理工具，包括numpy、pandas以及scipy等一系列扩展包。结合PyCharm使用，可以进行各种数据分析实验。