机器学习day8逻辑回归

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

逻辑回归

在分类问题中，你要预测的变量 y 是离散的值，我们将学习一种叫做逻辑回归 (Logistic Regression) 的算法，这是目前最流行使用最广泛的一种学习算法。
逻辑回归算法是分类算法，我们将它作为分类算法使用。
根据线性回归模型我们只能预测连续的值，然而对于分类问题，我们需要输出0或1，我们可以预测：
当h_θ (x)>=0.5时，预测 y=1。
当h_θ (x)<0.5时，预测 y=0 。

我们引入一个新的模型，逻辑回归，该模型的输出变量范围始终在0和1之间。 逻辑回归模型的假设是： h_θ (x)=g(θ^T X) 其中： X 代表特征向量
g 代表逻辑函数（logistic function)是一个常用的逻辑函数为S形函数（Sigmoid function），公式为：
g(z)=1/(1+e^(-z) )。该函数的图像为：

h_θ (x)的作用是，对于给定的输入变量，根据选择的参数计算输出变量=1的可能性（estimated probablity）即h_θ (x)=P(y=1|x;θ)
例如，如果对于给定的x，通过已经确定的参数计算得出h_θ (x)=0.7，则表示有70%的几率y为正向类，相应地y为负向类的几率为1-0.7=0.3。

代价函数

这样构建的Cost(h_θ (x),y)函数的特点是：当实际的 y=1 且h_θ (x)也为 1 时误差为 0，当 y=1 但h_θ (x)不为1时误差随着h_θ (x)变小而变大；当实际的 y=0 且h_θ (x)也为 0 时代价为 0，当y=0 但h_θ (x)不为 0时误差随着 h_θ (x)的变大而变大。

简化的成本函数和梯度下降

逻辑回归的代价函数：
Cost(h_θ (x),y)=-y×log(h_θ (x))-(1-y)×log(1-h_θ (x))
=-1/m ∑_(i=1)^m▒〖[y((i)) log(h_θ (x^((i)) ))+(1-y^((i)) )log(1-h_θ (x^((i)) ))]〗

可以将梯度下降算法写作如下形式：
θ_j:=θ_j-α 1/m ∑_(i=1)^m▒〖(h_θ (x^((i)))-y((i)))〖x_j〗^((i)) 〗