1. 决策树
根据一些 feature 进行分类,每个节点提一个问题,通过判断,将数据分为两类,再继续提问。这些问题是根据已有数据学习出来的,再投入新数据的时候,就可以根据这棵树上的问题,将数据划分到合适的叶子上。
2. 随机森林
在源数据中随机选取数据,组成几个子集源数据,这几个子集得到几个决策树,将新数据投入到这 M 个树中,得到 M 个分类结果,计数看预测成哪一类的数目最多,就将此类别作为最后的预测结果
3. 逻辑回归
当预测目标是概率这样的,值域需要满足大于等于0,小于等于1的,这个时候单纯的线性模型是做不到的,因为在定义域不在某个范围之内时,值域也超出了规定区间。
这个模型需要满足两个条件 大于等于0,小于等于1
大于等于0 的模型可以选择 绝对值,平方值,这里用 指数函数,一定大于0
小于等于1 用除法,分子是自己,分母是自身加上1,那一定是小于1的了
4. SVM
要将两类分开,想要得到一个超平面,最优的超平面是到两类的 margin 达到最大,margin就是超平面与离它最近一点的距离
将这个超平面表示成一个线性方程,在线上方的一类,都大于等于1,另一类小于等于-1
5. 朴素贝叶斯
给一段文字,返回情感分类,这段文字的态度是positive,还是negative
为了解决这个问题,可以只看其中的一些单词
这段文字,将仅由一些单词和它们的计数代表
原始问题是:给你一句话,它属于哪一类。通过 bayes rules 问题变成,这一类中这句话出现的概率是多少
栗子:单词 love 在 positive 的情况下出现的概率是 0.1,在 negative 的情况下出现的概率是 0.001
6. K最近邻
k nearest neighbours
给一个新的数据时,离它最近的 k 个点中,哪个类别多,这个数据就属于哪一类
7. K均值
想要将一组数据,分为三类。最开始先初始化作为各类的初始值
剩下的数据里,每个都与三个初始值计算距离,然后归类到离它最近的初始值所在类别
分好类后,计算每一类的平均值,作为新一轮的中心点
几轮之后,分组不再变化了,就可以停止了
8. Adaboost
adaboost 是 bosting 的方法之一
bosting就是把若干个分类效果并不好的分类器综合起来考虑,会得到一个效果比较好的分类器。
adaboost 的栗子,手写识别中,在画板上可以抓取到很多 features,例如 始点的方向,始点和终点的距离等等
training 的时候,会得到每个 feature 的 weight,例如 2 和 3 的开头部分很像,这个 feature 对分类起到的作用很小,它的权重也就会较小
而这个 alpha 角 就具有很强的识别性,这个 feature 的权重就会较大,最后的预测结果是综合考虑这些 feature 的结果
9. 神经网络
NN 由若干层神经元,和它们之间的联系组成 第一层是 input 层,最后一层是 output 层
在 hidden 层 和 output 层都有自己的 classifier
前向传播 后向反馈 梯度下降
10. 马尔可夫
Markov Chains 由 state 和 transitions 组成
栗子,根据这一句话 ‘the quick brown fox jumps over the lazy dog’,要得到 markov chain
步骤,先给每一个单词设定成一个状态,然后计算状态间转换的概率
这是一句话计算出来的概率,当你用大量文本去做统计的时候,会得到更大的状态转移矩阵,例如 the 后面可以连接的单词,及相应的概率
生活中,键盘输入法的备选结果也是一样的原理,模型会更高级
可参考http://blog.jobbole.com/108395/