三明治的博客

朴素贝叶斯法是基于概率统计，特征条件独立假设的分类方法，是一种非常常用的机器学习算法；通常用于处理文本分类和情感分析等自然语言处理任务中。相对于其他复杂的模型，朴素贝叶斯算法具有简单、易于实现、高效和良好的准确性等特点

我们希望寻找到这样的直线，使得距离这条直线最近的点到这条直线的距离最短。我们从如下右图直观来解释这一句话就是要求的两条外面的线之间的间隔最大。这是可以理解的，因为假如数据样本是随机出现的，那么这样分割之后数据点落入到其类别一侧的概率越高那么最终预测的准确率也会越高。在高维空间中这样的直线称之为超平面，因为当维数大于三的时候我们已经无法想象出这个平面的具体样子。那些距离这个超平面最近的点就是所谓支持向量，实际上如果确定了支持向量也就确定了这个超平面，找到这些支持向量之后其他样本就不会起作用了。

最经典的机器学习模型之一，成树型结构，决策树的目的是为了产生一颗泛化能力强，处理未见实例能力强的树，通过特征判断不断分类，基本流程遵循“分而治之”的递归分类策略。

上个算法（算法系列二）介绍了如何使用线性模型进行回归学习，但若要做的是分类任务，则需要找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来。虽然名字叫回归，但其实是分类学习方法。

线性回归是使用对数据进行线性拟合的算法。

给定一个训练数据集，对于新输入的实例，在训练数据集中找到与该实例最近的k个实例，这k个实例的多数属于某个类，就将该输入实例划分为某个类通俗来说，就是未标记的样本类别，由距离其最近的k个邻居投票决定，少数服从多数。