【监督学习】第三课（机器学习，折半算法，专家算法，感知机perceptron，Winnow，在线学习）

这里是监督学习第三课，长期更新，求关注！

 

前两课分别讲了监督学习最简单（普遍）的算法，线性回归，以及knn和常见的问题以及解决方式。

对于线性回归的计算复杂度优化由mn两个参数决定。根据他们的相对大小选择更好的求解公式（预测）

 

这一课跟前面不一样，前面我们是给出X 输入，求Y，通过预先计算X和Y的关系，这一课我们没有X，只有Y。

由Y预测Y。

 

这就是在线学习。下面详细展开！

假设现在有一个分类问题，我们8个模型（分类器），这8个分类器如何我们不知道，我们假设其中有一个分类器是完美的。那么怎么找出这个分类器呢？

最简单的方法就是折半算法 halving algorithm，假设我们有了ground truth，通过和ground truth对比，我们每次可以排除错误答案对应的错误分类器，假设只有一个分类器完美，那么最后肯定只剩下一个分类器。

 

但是实际上，我们不知道是否只有一个分类器完美，也不知道在所有预测上都正确的分类器到底是不是完美，因为我们无法穷举所有的输入。举个例子，如果是图像分类的话，判断一个图片是猫还是狗，这样的图片有无限张。我们不可能穷举每张图片。

这种情况下，我们的目标变为降低错误的次数。