一些基本机器学习算法

给自己留档，用自己的话记录一些简单的机器学习算法。
全篇几乎都是抄的，其中一些算法也没有用过，轻信以下内容造成不良后果不负责任（你。

深度学习最初是为了解决什么问题

最早的深度学习模型被用来识别裁剪紧凑且非常小的图像中的单个对象（1986）。

Recurrent NN和Recursive NN的区别

Recurrent Neural Networks是由Markov提出的，用来处理时序特征的模型，其中每个神经元都包含之前所有历史信息；Recursive Neural Networks是用来处理树形结构的，每个神经元包含的信息与其孩子结点相关，常用来与自编码器相结合。

决策树

基于树结构来进行决策的过程。
分类树的划分标准是

logistic regression

逻辑回归是一个常用于二分类的分类模型，它的思想是基于线性回归，可以看作是将线性函数的结果映射到了sigmoid函数中。对于逻辑回归的参数估计，可以用极大似然估计的方法求损失函数。

逻辑回归是否对类不平衡敏感

类不平衡会对逻辑回归的结果产生影响。从线性分类器角度讨论，我们是在用预测出的y值与一个阈值进行比较，若$\frac{y}{1-y} > 1$则预测为正例。而在类不平衡情况下，正例可能性与反例可能性之比并不为1，按照原来的标准预测很可能会预测错误。

解决类不平衡问题的方法

过采样：SMOTE，对正例进行插值来产生额外的正例
欠采样：EasyEnsemble，利用集成学习将反例划分为若干个集合供不同学习器学习

正则化

正则化是防止过拟合的一种手段，对于逻辑回归，我们通过添加正则项对所有的参数进行收缩。sklearn中参数C是正则化系数$\lambda$的倒数，越小的C表示越强的正则化。

朴素贝叶斯

• 贝叶斯决策论对于分类任务来说，就是在所有相关概率都已知的最理想情况下，考虑如何基于这些概率和误判损失来选择最优的类别标记。对分类器来说，就是对于每个样本x，选择能使后验概率P(c|x)最大的类别标记。
• 生成模型和判别模型：如果给定x，可以通过直接建模P(c|x)来预测c，那么得到的是“判别模型”，如果首先对联合概率分布P(x, c)建模，再由此获得P(c|x)，这样得到的是生成模型。

集成学习

通过构建并结合多个学习器来完成学习任务。一般结构为先产生一组“个体学习器”，再用某种策略将它们结合起来。有同质和异质之分。
目前的集成学习方法大致可分为两类：个体学习器间存在强依赖关系，必须串行生成的序列化方法，以及个体学习器间不存在强依赖关系，可同时生成的并行化方法，前者的代表是Boosting，后者的代表是Bagging和随机森林。

Boosting

一族可将弱学习器提升为强学习器的算法。先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多关注，然后基于调整后的样本分布来训练下一个基学习器。如此重复，直到基学习器数目达到指定的值T，最终将这T个基学习器进行加权结合。