adaboost和朴素贝叶斯算法简述

adaboost原理

前一个基本分类器分错的样本会得到加强，加权后的全体样本再次被用来训练下一个基本分类器。同时，在每一轮中加入一个新的弱分类器，直到达到某个预定的足够小的错误率或达到预先指定的最大迭代次数。

基本步骤

1、将数据进行初始化，将他们的权值赋值为1/n
2、将数据进行分类，一类为1，一类为-1，然后通过分界点，分界点左右两边分为1和-1，计算出误差，将误差最小的作为我们的分界点。经过误差率计算出该分类器所占的权重，由权值更新的公式可知，每个样本的新权值是变大还是变小，取决于它是被分错还是被分正确。用新得到的权职分布进行下一轮的训练，得到弱的分类器。如此迭代下去。
3、将各个训练的权重乘以他们的分类器相加，得到最后的强分类器。

基本应用

opencv 人脸识别。

朴素贝叶斯算法原理

朴素贝叶斯分类是以贝叶斯定理为基础并且假设特征条件之间相互独立的方法，先通过已给定的训练集，以特征词之间独立作为前提假设，学习从输入到输出的联合概率分布，再基于学习到的模型，输入x求出使得后验概率最大的输出 y。选择概率高的一类作为新点的分类。在出现一个需要分类的新点时，我们只需要计算这个点的
max(p(c1 | x,y),p(c2 | x,y),p(c3 | x,y)…p(cn| x,y))。

基本步骤

1、找到一个已知分类的待分类项集合
2、统计该分类中每个特征属性的条件概率估值
3、如果各个特征属性是条件独立的，就可以用贝叶斯定理

可以得出

这时我们可以假设每个特征都是独立的，就可以得出
P(X|Yi) = p(Yi|X)p(X) = p(y1, y2, y3, y4…yn | X) p(X)
即可以进一步得出
P(X|Yi) = p(y1|X)p(y2|X)p(y3|X)…p(yn|X) p(X)
4、比较各个特征属性的条件概率进行分类

基本应用

朴素贝叶斯算法在文字识别， 图像识别方向有着较为重要的作用。 可以将未知的一种文字或图像，根据其已有的分类规则来进行分类，最终达到分类的目的。现实生活中朴素贝叶斯算法应用广泛，如文本分类，垃圾邮件的分类，信用评估，钓鱼网站检测等等。