logistic regression

binary classification 能将给定的样本进行分类，可是在一些场景下，我们在意的是给定样本，这个样本被断定为一个类别的概率！如果我们有了给定样本被分类为给定类别的概率分布估计，我们就能拿这个估计得来的概率分布做二元分类。所以，这个我们也称这样的问题为soft binary classification。

一、收集训练集
soft binary classification 的目标在于给定样本输出其产生不同类别的概率值。可是在实际中，搜集数据的时候，我们只能拿到样本的类别，而不知其概率。这个时候不妨想，我们所取得的结果是在其概率分布中进行的一次抽样，利用抽样结果我们来估计其生成某一类别的概率。（或是可以理解为根据抽样结果生成的0、1是实际概率分布的Noise版本）
根据分类结果，粗略的估计出label。

二、设定hypothesis set（尽可能地接近我们的target function）
通用思路，得到特征后计算加权和，记为score。score 越大，越有可能出现某一个类。但我们的目标是输出0-1之间的数值，因此需要对score进行转化，logistic 函数便能达成我们的心愿。于是一个满足要求的hypothesis set 便出现了。（linear +logistic ），我们称其为logistic regression。

三、定义损失函数（损失函数是我们的优化目标，损失函数决定学习算法）
不同的问题对应的机器学习模型各不相同，我们已经学习了linear regression、binary classification模型，这些模型中所选择的损失函数又各不相同（E_in的表达各不相同），而损失函数的选定又决定了我们的学习算法。那么我们新给出的logistic regression 所对应的损失函数是什么呢？
不管选择怎么样的损失函数，Error measure的标准总是不会变的：pick的hypothesis要最大程度地接近target function。
对于binary classification 问