《从零进阶！数据分析的统计基础》-1.数据分析概述

相关分析是研究现象之间是否存在某种依存关系，并对具体由依存关系的现象进行其相关方向及相关程度的研究。这种关系既包括两个数据之间的单一相关关系（年龄与个人领域），也包括多个数据之间的多重相关关系（年龄、抑郁症发生率和个人领域空间），既包括直线相关，也可以是复杂相关，还包括两变量共同变化的紧密程度--相关系数。

2.回归分析

回归分析是确定两个及以上变量之间相互依赖的定量关系的一种统计分析方法，设计自变量的多少，可以分为一元回归分析和多元回归分析，按照自变量和因变量之间的关系类型，可以分为线性回归和非线性回归。此处所讲的回归分析是指一元线性回归，区别于数据挖掘方法里的多元线性回归和逻辑斯蒂回归。

3.关联分析

又称"对应分析"、"R-Q型因子分析"，通过分析由定性变量构成的交互汇总表来揭示变量之间的联系。可以揭示同一个变量的各个类别之间的差异，以及不同变量各个类别之间的对应关系。对应分析的一个基本思想是将一个联列表的行和列中各元素的比例结构以点的形式在较低维的空间中表示出来。

4.因子分析

因子分析是指研究从变量群中提取共性因子的统计技术。就是从大的数据中寻找内在的联系，减轻决策困难的分析方法。如重心法、影像分析法、最大似然解法、最小平方法、阿尔法抽因法、拉奥典型抽因法、PCA等，大部分以相关系数矩阵为基础。

5.方差分析

又称"变异系数分析"、"F检验"，是R.A.Fisher发明的分析方法，用于两个及两个以上样本均数差别的显著性检验。由于各种因素的影响，研究得到的数据呈现波动状，造成波动的原因可分为两类，一个是不可控的随机因素，另一个是研究中施加的对结果形成影响的可控因素。方差分析从观测变量的方差入手，研究诸多控制变量中哪些变量是对观测变量有显著影响的变量。

数据挖掘方法

1.聚类分析

聚类分析是指将物理或抽象对象的集合分组称为由类似的对象组成的多个类的分析过程。是一种无监督的数据挖掘算法，例如机器学习专栏博客中提到的k-means聚类及其改进。

2.分类分析

（1）决策树：ID3决策树、C4.5决策树、CART决策树

（2）人工神经网络

（3）贝叶斯分类方法

（4）支持向量机

（5）随机森林

3.关联规则

关联规则数据挖掘的主要目的是找出数据集中的频繁模式，即多次重复出现的模式和并发关系。应用关联规则最经典的案例是购物篮分析，通过分析顾客购物篮中商品之间的关联，可以挖掘顾客的购物习惯，从而帮助零售商更好地制定有针对性的营销策略。

4.回归分析

回归分析包括线性回归，这里主要指多元线性回归和逻辑斯蒂回归。其中，在数据化运营中更多使用的是逻辑斯蒂回归，它包括响应预测、分类划分等内容。详情可见机器学习专栏博客。

4.统计分析与数据挖掘的区别和联系

1.统计分析与数据挖掘的联系

两者的理论来源相同，都是源于统计基础理论，因此它们的很多方法在很多情况下都是同根同源的。比如，概率论和随机事件是统计学的核心理论之一，统计分析中的抽样估计需应用该理论，而在数据挖掘技术的朴素贝叶斯分类中，就是这些统计理论的发展和延伸。

2.数据分析与数据挖掘的区别

（1）统计分析的基础之一就是概率论，在对数据进行统计分析时，分析人员常常需要对数据分布和变量间的关系做假设，确定用什么概率函数来描述变量之间的关系，以及如何检验参数的统计显著性，然后利用数据分析技术来验证该假设是否成立；而在数据挖掘应用中，分析人员不需要对数据分布做任何假设，数据挖掘算法会自动寻找变量间的关系。因而对于海量、杂乱的数据，数据挖掘技术有明显的应用优势。

（2）统计分析在预测中的应用常表现为一个或一组函数关系式，而数据挖掘在预测领域应用中的重点在于预测的结果，很多时候并不会从结果中产生明确的函数关系式，最典型的例子就是“神经网络”,它里面的隐藏层就是一个“黑箱”，这会对模型在实践应用中的可理解性和可接受度造成一定影响。