Andrew Ng 机器学习笔记（六）

朴素贝叶斯算法

在上节课中，Andrew将邮件过滤系统中使用了朴素贝叶斯算法如何将邮件进行垃圾分类。有两个性质，一个是每个特征都只有0和1的取值，也就是说只有出现和不出现这两种情况；第二，特征向量的长度应该等于词典中词的数目。但是有个问题，只能知道某个词是否出现了，但是不知道某个词出现的次数。

我们第一个讲的分类器是logistic回归，假设形式是一个公式，当假设值小于0.5时可以认为假设为0，当假设值大于0.5时可以认为假设为1，这是一个线性分类器。后面会讲一种非线性分类器：支持向量机。

神经网络

神经网络大致的样子大概是这样：，其中x0、x1、x2、x3是一些输入单元，后面的圆圈被称为隐藏层，它在输出层之前，可以将这些输入反馈给这些计算单元，之后反馈给更多层的计算单元，甚至可以再多层，最终你达到了输出层。实际上，不想logistic回归一样，神经网络算法总是会对飞凸优化问题作出相应的放映，而对于logistic回归，如果你运行梯度下降算法或者牛顿方法，你最终会收敛到一个全局最优值，但是对于神经网络来说就不是这样。通常情况下，有太多的局部最优值，会使全局优化变得更加困难。然而目前科学家会因为到底使用哪个算法更好而喋喋不休，目前科学家认为最好的办法是支持向量机，这个方法我在后面的时候会讲到，它是一个更高效并且无需定制的学习方法。相对于神经网络，这种观点存在着些许争议，因为神经网络的优化工作非常的困难。

最大间隔分类器

Andrew花了好长时间讲这个分类器的推导过程，已经头晕目眩。实际上是用这个算法，它的结果会和logistic回归的结果差不多好，但实际上当我们进一步了解这个算法时，我们会用一种更为巧妙的方式改变这个算法，并且可以让其支持无限维的特征空间，并且可以得到一个非常有效的非线性分类器，且无需定制。在正式讲SVG之前会有好几步要讲，这只是其中的第一步。