分类器

分类问题与回归问题区别在于y的范围，回归问题对y的精度来得高，所以对模型敏感，对数据要求多。回归问题可以通过对y按照范围进行分类，实现回归问题到分类问题的转化。这样可以在要求不高的情况下增大准确度。

logistic regression

最基本的线性分类器，是digression classifier的一种，目的在于找到一个将定义域一分为二的平面/直线以期对数据进行分类。那么对于找到的分界线/面如何进行评判呢？这个算法假设h = g(theta * x) 其中g是sigmoid函数，而h就是对应于该点处y = 1的概率或者自信率。这样寻找分界面的工作就变成了寻找使所有样本点在该分界面条件下概率最大的问题，可以利用最大似然法求解。（对于多样本，总体的概率本质上是个贝努里分布）

关于g的选择，其本身是有概率论的理论基础的，后面会讲到，但是也只是对大多数情况而已。不过因为很多情况即模型下，h根据g的定义最后都会得到一个这个概率论的解释，所以logistic regression的鲁棒性很强，同样的因为缺少了很多的信息，所以对于具体的模型，尤其是小数据的情况下，准确率会有所降低。