数据分析——思维铺垫

数据分析的三个部分

1. 数据采集
   

2. 数据挖掘

   ——数据挖掘的核心是挖掘数据的商业价值，也就是我们所谈论的商务智能（BI）

   需要大致掌握和了解以下内容：
   ①基本流程
   ②十大算法
   ③一定的数学基础
   

3. 数据可视化

   这一部分主要是要学会相关工具的使用

两点原则

1. 尽量使用第三方类库完成自己的想法
2. 尽量选择使用者最多的工具，bug少，文档全，案例多

基本流程

1. 商业理解：从商业角度理解项目需求，更好地服务于业务；
2. 数据理解：对数据进行探索，包括数据描述，数据质量验证，以便于对数据有一个初步认知；
3. 数据准备：数据清洗和继承；
4. 模型建立：应用挖掘模型并优化，以便得到更好的分类结果；
5. 模型评估：对模型进行评价，检查构建模型的每个步骤，确认模型是否已经达到了商业目标；
6. 上线发布

数据挖掘的十大算法

按照不同的目的，将以上十种算法分为以下四类：

• 分类算法：C4.5 ，朴素贝叶斯，SVM，KNN，Adaboost，CART；
• 聚类算法：K—Means，EM
• 关联分析：Apriori
• 连接分析：PageRank

下面首先初步了解上述10个算法：

C4.5

一种决策树算法，在创建决策树的过程中进行剪枝，并且可以处理连续的属性，也能对不完整的数据进行处理。

朴素贝叶斯

基于概率论的原理，对于给出的未知物体想要分类，就需要求解求在出现的条件下各个类别出现的概率，哪个最大，就认为属于哪个分类。

SVM

支持向量机（Support Vector Machine）建立一个超平面的分类模型。

KNN

K近邻算法（K-Nearest Neighbor）每个样本都可以用它最近的k个邻居来代表，若一个样本，它的k个最接近的邻居都属于分类A，那么这个样本也属于分类A

AdaBoost

AdaBoost在训练中建立了一个联合的分类模型，构建分类器提升算法，可以让我们多个弱的分类器组成一个强的分类器，所以Adaboost也是一个常用的分类算法。

CART

CART 代表分类和回归树，英文是 Classification and Regression Trees。像英文一样，它构建了两棵树：一棵是分类树，另一个是回归树。和 C4.5 一样，它是一个决策树学习方法。

Apriori

Apriori 是一种挖掘关联规则（association rules）的算法，它通过挖掘频繁项集（frequent item sets）来揭示物品之间的关联关系，被广泛应用到商业挖掘和网络安全等领域中。频繁项集是指经常出现在一起的物品的集合，关联规则暗示着两种物品之间可能存在很强的关系。

K-Means

K-Means 算法是一个聚类算法。你可以这么理解，最终我想把物体划分成 K 类。假设每个类别里面，都有个“中心点”，即意见领袖，它是这个类别的核心。现在我有一个新点要归类，这时候就只要计算这个新点与 K 个中心点的距离，距离哪个中心点近，就变成了哪个类别。

EM

EM 算法也叫最大期望算法，是求参数的最大似然估计的一种方法。原理是这样的：假设我们想要评估参数 A 和参数 B，在开始状态下二者都是未知的，并且知道了 A 的信息就可以得到 B 的信息，反过来知道了 B 也就得到了 A。可以考虑首先赋予 A 某个初值，以此得到 B 的估值，然后从 B 的估值出发，重新估计 A 的取值，这个过程一直持续到收敛为止。

PageRank

PageRank 起源于论文影响力的计算方式，如果一篇文论被引入的次数越多，就代表这篇论文的影响力越强。同样 PageRank 被 Google 创造性地应用到了网页权重的计算中：当一个页面链出的页面越多，说明这个页面的“参考文献”越多，当这个页面被链入的频率越高，说明这个页面被引用的次数越高。基于这个原理，我们可以得到网站的权重划分。