提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
文章目录
逻辑回归
在分类问题中,你要预测的变量 y 是离散的值,我们将学习一种叫做逻辑回归 (Logistic Regression) 的算法,这是目前最流行使用最广泛的一种学习算法。
逻辑回归算法是分类算法,我们将它作为分类算法使用。
根据线性回归模型我们只能预测连续的值,然而对于分类问题,我们需要输出0或1,我们可以预测:
当h_θ (x)>=0.5时,预测 y=1。
当h_θ (x)<0.5时,预测 y=0 。
我们引入一个新的模型,逻辑回归,该模型的输出变量范围始终在0和1之间。 逻辑回归模型的假设是: h_θ (x)=g(θ^T X) 其中: X 代表特征向量
g 代表逻辑函数(logistic function)是一个常用的逻辑函数为S形函数(Sigmoid function),公式为:
g(z)=1/(1+e^(-z) )。该函数的图像为:
h_θ (x)的作用是,对于给定的输入变量,根据选择的参数计算输出变量=1的可能性(estimated probablity)即h_θ (x)=P(y=1|x;θ)
例如,如果对于给定的x,通过已经确定的参数计算得出h_θ (x)=0.7,则表示有70%的几率y为正向类,相应地y为负向类的几率为1-0.7=0.3。
代价函数
这样构建的Cost(h_θ (x),y)函数的特点是:当实际的 y=1 且h_θ (x)也为 1 时误差为 0,当 y=1 但h_θ (x)不为1时误差随着h_θ (x)变小而变大;当实际的 y=0 且h_θ (x)也为 0 时代价为 0,当y=0 但h_θ (x)不为 0时误差随着 h_θ (x)的变大而变大。
简化的成本函数和梯度下降
逻辑回归的代价函数:
Cost(h_θ (x),y)=-y×log(h_θ (x))-(1-y)×log(1-h_θ (x))
=-1/m ∑_(i=1)m▒〖[y((i)) log(h_θ (x^((i)) ))+(1-y^((i)) )log(1-h_θ (x^((i)) ))]〗
可以将梯度下降算法写作如下形式:
θ_j:=θ_j-α 1/m ∑_(i=1)^m▒〖(h_θ (x((i)))-y((i)))〖x_j〗^((i)) 〗