数据分析方法论

一、统计分析方法论

1.描述统计：通过图表或数学方法，对数据资料进行整理、分析，并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。目的是描述数据特征，找出数据的基本规律。

1）频数分析：一般在数据的预处理阶段，利用频数分析和交叉频数分析来检验异常值。

2）集中趋势分析：用来反映数据的一般水平，常用的指标有平均值、中位数和众数等。

平均值：是衡量数据的中心位置的重要指标，反映了一些数据必然性的特点，包括算术平均值、加权算术平均值、调和平均值和几何平均值。
中位数：是另外一种反映数据的中心位置的指标，其确定方法是将所有数据以由小到大的顺序排列，位于中央的数据值就是中位数。
众数：是指在数据中发生频率最高的数据值。

3）离散程度分析：用来反映数据之间的差异程度，常用的指标有方差和标准差。

4）数据的分布：在统计分析中，通常要假设样本的分布属于正态分布，数据的正态性离群值检验，已知标准差时用Nair检验，未知标准差时用Grubbs检验，Dixon检验，偏度-峰度法等。其中常用偏度-峰度法需要用偏度和峰度两个指标来检查样本是否符合正态分布。偏度衡量的是样本分布的偏斜方向和程度；而峰度衡量的是样本分布曲线的尖峰程度。一般情况下，如果样本的偏度接近于0，而峰度接近于3，就可以判断总体的分布接近于正态分布。

5）绘制统计图

2.假设检验：是数理统计学中根据一定假设条件由样本推断总体的一种方法。具体作法是：根据问题的需要对所研究的总体作某种假设，记作H0；选取合适的统计量，这个统计量的选取要使得在假设H0成立时，其分布为已知；由实测的样本，计算出统计量的值，并根据预先给定的显著性水平进行检验，作出拒绝或接受假设H0的判断。

1）u—检验法

2）t检验法

3）卡方检验

4) F—检验法

5）秩和检验

3.相关分析：是研究现象之间是否存在某种依存关系，并对具体有依存关系的现象探讨其相关方向以及相关程度，是研究随机变量之间的相关关系的一种统计方法。

1）线性相关分析

2）偏相关分析

3）距离分析

4.方差分析：用于两个及两个以上样本均数差别的显著性检验。 由于各种因素的影响，研究所得的数据呈现波动状。造成波动的原因可分成两类，一是不可控的随机因素，另一是研究中施加的对结果形成影响的可控因素。

5.回归分析：通过规定因变量和自变量来确定变量之间的因果关系，建立回归模型，并根据实测数据来求解模型的各个参数，然后评价回归模型是否能够很好的拟合实测数据；如果能够很好的拟合，则可以根据自变量作进一步预测。

1）线性回归

2）曲线回归

3）二元logistic回归

4）多元logistic回归

6.聚类分析：基于用户间彼此距离的长短来对用户进行聚类划分的方法依然是当前最流行的方法。

1）k-means

2）分层

3）FCM

7.判别分析：从已知的各种分类情况中总结规律（训练出判别函数），当新样品进入时，判断其与判别函数之间的相似程度（概率最大，距离最近，离差最小等判别准则）。判别分析的基本条件：分组类型在两组以上，解释变量必须是可测的；每个解释变量不能是其它解释变量的线性组合（比如出现多重共线性情况时，判别权重会出现问题）； 各解释变量之间服从多元正态分布（不符合时，可使用Logistic回归替代），且各组解释变量的协方差矩阵相等（各组协方方差矩阵有显著差异时，判别函数不相同）。

1）最大似然法

2）距离判别法

3）Fisher判别法

4）Bayes判别法

5）逐步判别法

8.主成分与因子分析：主成分分析基本原理是利用线性变换，在损失很少信息的前提下把多个指标转化为几个主成分,即每个主成分都是原始变量的线性组合,且各个主成分之间互不相关,使得主成分比原始变量具有某些更优越的性能，从而达到简化系统结构，抓住问题实质的目的。因子分析基本原理：利用线性变换，由研究原始变量相关矩阵内部的依赖关系出发，将变量表示成为各因子的线性组合，从而把一些具有错综复杂关系的变量归结为少数几个综合因子。

9.时间序列分析

10.决策树：是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。

二、营销管理分析方法论

1.SWOT：

2. 4P：产品、价格、促销、渠道

3.PEST：

4.SMART：

5.5W2H：

6.用户行为：