机器学习知识梳理

传统机器学习模型

决策树

决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。
□——决策点，是对几种可能方案的选择，即最后选择的最佳方案。如果决策属于多级决策，则决策树的中间可以有多个决策点，以决策树根部的决策点为最终决策方案。
○——状态节点，代表备选方案的经济效果（期望值），通过各状态节点的经济效果的对比，按照一定的决策标准就可以选出最佳方案。由状态节点引出的分支称为概率枝，概率枝的数目表示可能出现的自然状态数目每个分枝上要注明该状态出现的概率。
△——结果节点，将每个方案在各种自然状态下取得的损益值标注于结果节点的右端。
剪枝：为了避免过拟合

• 预剪枝
• 后剪枝

优点：

• 决策树易于理解和实现，人们在在学习过程中不需要使用者了解很多的背景知识。
• 对于决策树，数据的准备往往是简单或者是不必要的，而且能够同时处理数据型和常规型属性，在相对短的时间内能够对大型数据源做出可行且效果良好的结果。
• 易于通过静态测试来对模型进行评测，可以测定模型可信度；如果给定一个观察的模型，那么根据所产生的决策树很容易推出相应的逻辑表达式。

缺点：

• 对连续性的字段比较难预测。
• 对有时间顺序的数据，需要很多预处理的工作。
• 当类别太多时，错误可能就会增加的比较快。(容易过拟合)
• 一般的算法分类的时候，只是根据一个字段来分类。

经典算法：

• C4.5:1.使用信息增益率而不是信息增益进行剪枝；2.预剪枝；3.对连续属性的离散化处理；4.能够对不完整属性进行处理。
• CART：（分类与回归树；二叉树）在很多情况下比常用的统计方法构建的代数学预测准则更加准确，且数据越复杂、变量越多，算法的优越性就越显著。

马尔可夫和隐式马尔可夫

马尔可夫链之所以叫链，是因为就像链式反应一样，马尔可夫模型是在条件概率的基础上推断给定前提下， 某一事件发生的概率。以此作为预测。

隐式马尔可夫是指，当初始观察序列的概率状况和初始状态的概率向量已知的前提下，而初始条件概率未知时，对某一事件发生概率的预测。

朴素贝叶斯

由马尔可夫链启发，朴素贝叶斯也是计算给定数据集的分类情况的概率。

优点：
朴素贝叶斯算法假设了数据集属性之间是相互独立的，因此算法的逻辑性十分简单，并且算法较为稳定，当数据呈现不同的特点时，朴素贝叶斯的分类性能不会有太大的差异。换句话说就是朴素贝叶斯算法的健壮性比较好，对于不同类型的数据集不会呈现出太大的差异性。当数据集属性之间的关系相对比较独立时，朴素贝叶斯分类算法会有较好的效果。
缺点：
属性独立性的条件同时也是朴素贝叶斯分类器的不足之处。数据集属性的独立性在很多情况下是很难满足的，因为数据集的属性之间往往都存在着相互关联，如果在分类过程中出现这种问题，会导致分类的效果大大降低。

K近邻（KNN）

**思想：**将已有数据的特征在空间中表示出来，若有新的未分类样本加入，则计算它与已有的所有样本之间的距离，找出最近的K个。看看这K个中各个分类的占比，哪个分类的占比最大，这个新样本就归属于哪一类。

聚类

最经典的就是K-means。由于KNN的计算量过大，则新样本到来时，改为直接计算它到不同分类的聚类中心的距离，看看离谁最近，就归为哪一类。

线性判别分析(linear discriminant analysis，LDA)

线性判别分析(linear discriminant analysis，LDA)是对费舍尔的线性鉴别方法的归纳，这种方法使用统计学，模式识别和机器学习方法，试图找到两类物体或事件的特征的一个线性组合，以能够特征化或区分它们。所得的组合可用来作为一个线性分类器，或者，更常见的是，为后续的分类做降维处理。

神经网络

感知器

全连接

卷积

图卷积

欠拟合和过拟合

收敛速度

集成学习

思想和发展历程

经典算法