第六、七周学习总结

Logistic 回归

分类
添加一个样本，这个例子没有提供任何新信息，使得线性回归对数据的拟合直线产生变化生成一个更坏的假设。把线性回归应用于分类问题通常不是一个最优的解决办法，对数据集进行线性回归并不是每次都能取得最好的效果。
肿瘤诊断问题的目的是告诉病人是否为恶性肿瘤，是一个二元分类问题。 （0 表示负向类，代表恶性肿瘤，1 为正向类，代表良性肿瘤。)
加入偏差项，线性回归算法给出了青色的拟合直线，如果阈值仍然为 0.5，可以看到算法在某些情况下会给出完全错误的结果，对于癌症、肿瘤诊断这类要求预测极其精确的问题，这种情况是无法容忍的。
如果对分类问题使用线性回归。对于分类，我们知道，Y等于0或1，如果你使用线性回归，假设的输出值会远大于1或小于0，即使所有训练样本的标签都是Y等于0或1。
区别于线性回归算法，逻辑回归算法是一个分类算法，其输出值永远在 0 到 1 之间。

假设陈述
也就是当有一个分类的时候我们要使用哪个方程来表示我们的假设。
为了使h_θ (x)∈(0,1) ，引入逻辑回归模型，定义假设函数 h_θ (x)=g(x)=g(θ^T x)
对比线性回归函数h_θ (x)=θ^T x ， 表示逻辑函数，复合起来，则称为逻辑回归函数。

逻辑函数是 S 形函数，会将所有实数映射到（0,1） 范围。

sigmoid 函数是逻辑函数的特殊情况，其公式为g_((z) )=1/(1+ⅇ^(-z) ) 。
（sigmoid function和logistic function意思基本上是一样的， 可互换）
应用 sigmoid 函数，则逻辑回归模型：g(θ^T x)=1/(1+ⅇ^(-θT x) )
决策界限
决策边界的概念，可帮助我们更好地理解逻辑回归模型的拟合原理。
决策边界就是分类的分界线。

代价函数
logistic回归模型的拟合问题。

如果此处的损失函数也是一个凸函数，是否也有同样的性质，从而最优化？这类讨论凸函数最优值的问题，被称为凸优化问题。

当然，损失函数不止平方损失函数一种。

对于逻辑回归，更换平方损失函数为对数损失函数，可由统计学中的最大似然估计方法推出代价函数 ：

如左图，当训练集的结果为Y=1 （正样本）时，随着假设函数趋向于1 ，代价函数的值会趋于0 ，即意味着拟合程度很好。如果假设函数此时趋于0 ，则会给出一个很高的代价，拟合程度差，算法会根据其迅速纠正 θ 值，右图 Y=0 同理。

区别于平方损失函数，对数损失函数也是一个凸函数，但没有局部最优值。

简化代价函数与梯度下降