数据分析概述之基本

一．数据分析概述

使用Excel可以进行数据分析吗？

使用Excel可以进行简单的数据统计分析，如数据图表绘制等。

但Excel在数据分析方面存在一定的局限性：一是Excel因内存受限不易处理大规模数据，这在大数据时代成为一大行业痛点；二是Excel在数据分析方面工作效率较慢，特别是在某些不容易设置自动填充的时候，效率尤为低下；三是Excel绘制图表比较传统，在美观性和创新性方面不足。

二．Python常用模块

（1）Numpy模块

Numpy（Numerical Python）是Python语言的一个扩展程序库，支持大量的多维数组与矩阵计算，此外也针对数组运算提供大量的数学函数库。Numpy功能非常强大，支持广播功能函数，线性代数运算，傅立叶变换等功能。

在使用Numpy时，可以直接使用import来导入。同时，在本书的后续章节将Numpy简称为np。

Numpy生成数组

Numpy最重要的一个特点是其N维数组对象ndarray。ndarray与列表形式上相似，但是ndarray要求数组内部的元素必须是相同的类型。在生成ndarray时，采用Numpy的array方法。

在numpy模块中，除了arrange方法生成数组外，还可以使用np.zeros((m,n))方法生成m行，n列的0值数组；使用np.ones((m,n))方法生成m行，n列的填充值为1的数组；使用np.eyes(m,n)方法生成m行，n列的对角线位置填充为1的矩阵;使用random方法生成随机数组。

Numpy中提供了很多统计函数，可以快速地实现查找数组中的最小值、最大值，求解平均数、中位数、标准差等功能。

 Pandas是Python环境下非常重要的数据分析库。当使用Python进行数据分析时，通常都指的是使用Pandas库作为分析工具对数据进行处理和分析。

（2）Panas模块

    Pandas是基于Numpy构建的数据分析库，但它比Numpy有更高级的数据结构和分析工具，如Series类型、DataFrame类型等。将数据源重组为DataFrame数据结构后，可以利用Pandas提供的多种分析方法和工具完成数据处理和分析任务。

1）Pandas数据结构之Series

Series是一种类似于一维数组的数据结构，由一组数据和数据的索引

当Series数组元素为数值时，可以使用Series对象的describe方法对Series数组的数值进行分析。

2）Pandas数据结构之DataFrame

如果把Series看作Excel表中的一列，DataFrame就是Excel的一张工作表。DataFrame由多个Series组成，DataFrame可以类比为二维数组或者矩阵，但与之不同的是，DataFrame必须同时具有行索引和列索引。

创建DataFrame的语句如下：

index和columes参数可以指定，当不指定时，从0开始。通常情况下，列索引都会给定，这样每一列数据的属性可以由列索引描述。

Pandas数据结构之DataFrame

使用DataFrame类时可以调用其shape，info，index，column，values等方法返回其对应的属性。

调用DataFrame对象的info方法，可以获得其信息概述，包括行索引，列索引，非空数据个数和数据类型信息。

调用df对象的index、columns、values属性，可以返回当前df对象的行索引，列索引和数组元素。

Python提供了很多用于展示数据变化的第三方库，其中Matplotlib库、Seaborn库常与Numpy、Pandas搭配使用。

Scipy模块可以处理插值、积分、优化、图像处理、常微分方程数值解的求解、信号处理等问题。它用于有效计算Numpy矩阵，使Numpy和Scipy协同工作，高效解决问题。目前，Scipy广泛地被数据科学、人工智能、数学、机械制造和生物工程等领域的人员应用。

常用的模型包括线性模型、广义线性模型和鲁棒线性模型、线性混合效应模型、方差分析（ANOVA）方法、时间序列过程和状态空间模型、广义的矩量法等

Scikit-learn（以前称为scikits.learn，也称为sklearn）是针对Python 编程语言的免费软件机器学习库。它具有各种分类，回归和聚类算法，包括支持向量机，随机森林，梯度提升，k均值和DBSCAN，并且旨在与Python数值科学库NumPy和SciPy联合使用。目前，计算机建模人员则倾向于使用包含各种人工智能方法的程序库Scikit-Learn。