机器学习各算法模型简介

有监督机器学习和无监督机器学习的区别：

数据有标签就是有监督学习，没有标签就是无监督学习，说的详细一点，有监督学习的目的是在训练集中找规律，然后对测试数据运用这种规律，而无监督学习没有训练集，只有一组数据，在该组数据集内寻找规律。

有监督的核心是分类，无监督的核心是聚类（将数据集合分成由类似的对象组成的多个类）。有监督的工作是选择分类器和确定权值，无监督的工作是密度估计（寻找描述数据统计值），也就是无监督算法只要知道如何计算相似度就可以开始工作了。

1、 k-NN

k-NN也叫k近邻法(k-nearest neighbor )是1967年由Cover T和Hart P提出的一种基本分类与回归方法。它的工作原理是：存在一个样本数据集合，也称作为训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后，将新的数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本最相似数据(最近邻)的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

2、决策树

决策树可以看成一个if-then规则的集合，将决策树转换成if-then规则的过程是这样的：由决策树的根结点(root node)到叶结点(leaf node)的每一条路径构建一条规则；路径上内部结点的特征对应着规则的条件，而叶结点的类对应着规则的结论。决策树的路径或其对应的if-then规则集合具有一个重要的性质：互斥并且完备。这就是说，每一个实例都被一条路径或一条规则所覆盖，而且只被一条路径或一条规则所覆盖。这里所覆盖是指实例的特征与路径上的特征一致或实例满足规则的条件。
3、朴素贝叶斯

该算法以自变量之间的独立（条件特征独立）性和连续变量的正态性假设为前提。

条件概率(Condittional probability)，就是指在事件B发生的情况下，事件A发生的概率，用P(A|B)来表示。P(A|B)=P(B|A)P(A) / P(B)

全概率公式的含义是，如果A和A’构成样本空间的一个划分，那么事件B的概率，就等于A和A’的概率分别乘以B对这两个事件的条件概率之和。

贝叶斯推断：后验概率　＝　先验概率 ｘ 调整因子

贝叶斯和朴素贝叶斯的概念是不同的，区别就在于“朴素”二字，朴素贝叶斯对条件个概率分布做了条件独立性的假设。 p(a|X) =p(X|a)p(a）= {p(x1|a)* p(x2|a)* p(x2|a) * ...* p(xn|a)}p(a)。

4、逻辑回归

Logistic回归是众多分类算法中的一员，通常，Logistic回归用于二分类问题，例如预测明天是否会下雨。当然它也可以用于多分类问题。Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。其实，Logistic本质上是一个基于条件概率的判别模型(Discriminative Model)。Logistic回归的目的是寻找一个非线性函数Sigmoid（逻辑函数，）的最佳拟合参数，求解过程可以由最优化算法完成。

5、SVM（Support Vector Machines）支持向量机

 支持向量机是在分类与回归分析中分析数据的监督式学习模型与相关的学习算法。给定一组训练实例，每个训练实例被标记为属于两个类别中的一个或另一个，SVM训练算法创建一个将新的实例分配给两个类别之一的模型，使其成为非概率二元线性分类器。SVM模型是将实例表示为空间中的点，这样映射就使得单独类别的实例被尽可能宽的明显的间隔分开。然后，将新的实例映射到同一空间，并基于它们落在间隔的哪一侧来预测所属类别。

6、随机森林（random forest）

随机森林是通过集成学习的思想将多棵树集成的一种算法，它的基本单元是决策树，而它的本质属于机器学习的一大分支——集成学习（Ensemble Learning）方法（在集成学习中，主要分为 bagging 算法 和 boosting 算法）。

也就是：集成学习算法+ 决策树 = 随机森林

集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成单预测，因此优于任何一个单分类的做出预测。

7、XGBoost

xgboost 是基于提升树的。提升树，就是一个模型表现不好，继续按照原来模型表现不好的那部分训练第二个模型，依次类推。（换句话说，xgboost属于一种前向迭代的模型，会训练多棵树）。

8、贪心算法

贪心算法就是保证每一步都是最优解，从而达到全局最优解的方法。放到决策树的生成中，就是：保证每一次结点的分裂产生的新的树，都是目标函数值最小的。

9、神经网络

神经网络是机器学习中常见的一种非线性算法模型，顾名思义，这个算法模型长得像人的神经系统。分为两种情况：拟合数据——>预测、分类——>聚类分析。

神经网络算法的三大类分别是：（1）前馈神经网络：这是实际应用中最常见的神经网络类型。第一层是输入，最后一层是输出。如果有多个隐藏层，我们称之为“深度”神经网络。他们计算出一系列改变样本相似性的变换。各层神经元的活动是前一层活动的非线性函数。

（2）循环网络：循环网络在他们的连接图中定向了循环，这意味着你可以按照箭头回到你开始的地方。他们可以有复杂的动态，使其很难训练。他们更具有生物真实性。

循环网络的目的是用来处理序列数据。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。

循环神经网路，即一个序列当前的输出与前面的输出也有关。

具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。

（3）对称连接网络：对称连接网络有点像循环网络，但是单元之间的连接是对称的（它们在两个方向上权重相同）。比起循环网络，对称连接网络更容易分析。这个网络中有更多的限制，因为它们遵守能量函数定律。没有隐藏单元的对称连接网络被称为“Hopfield网络”。有隐藏单元的对称连接的网络被称为玻尔兹曼机。

10、SHAP模型——可解释机器学习模型

SHAP（SHapley Additive exPlanations）以一种统一的方法来解释任何机器学习模型的输出。 SHAP 将博弈论与局部解释联系起来，将以前的几种方法结合起来，并根据预期表示唯一可能的一致且局部准确的加法特征归因方法