深度学习学习笔记

深度学习学习笔记：机器学习常用算法

（一）决策树

决策树，是树形结构，通过树形结构将各种情况组合都表示出来，每次分割的时候，都将当前的空间一分为二，简单来说就是每个分支进行一次Yes 或 No 的选择，直到所有选择都进行完毕，最终给出正确答案。这个监督式学习算法通常被用于分类问题。

划分方法：最小化信息熵，最小化Gini系数
为了防止过拟合，决策树可以用剪枝来提升泛化能力，判断泛化能力是根据预先分为test和valid集，看其在valid中的表现。剪枝分为两种，预剪枝是指在划分前估计当前结点的划分是否能提升决策树泛化能力，如果不能就设为叶结点。还有一种是后剪枝，先构建一颗完整的决策树，再由底往上考虑，如果当前结点替换为叶结点能提升泛化能力，则当前结点为叶结点。

• 优点
  计算简单，易于理解，可解释性强。
  比较适合处理有缺失属性的样本。
  能够处理不相关的特征。
  在相对短的时间内能够对大型数据源做出可行且效果良好的结果。

• 缺点
  容易发生过拟合（随机森林可以很大程度上减少过拟合）。
  忽略了数据之间的相关性。
  对于那些各类别样本数量不一致的数据，在决策树当中,信息增益的结果偏向于那些具有更多数值的特征（只要是使用了信息增益，都有这个缺点，如RF）。

（二）逻辑回归

逻辑回归是分类和预测算法中的一种。通过历史数据的表现对未来结果发生的概率进行预测。对于样本是二项分布的二分类问题且希望得到概率值结果时适用，对远点的样本敏感（即远离中间的样本）。简单来说，它通过将数据拟合进一个逻辑函数来预估一个事件出现的概率。因此被叫做逻辑回归。因为它预估的是概率，所以它的输出值大小在 0 和 1 之间。

• 优点：
  实现简单，分类时计算量非常小，速度很快，存储资源低。
  可以观测样本概率值。
• 缺点：
  当特征空间很大时，逻辑回归的性能不是很好。