逻辑回归是一种分类算法,它适用于标签y取值离散的情况。而线性回归只能预测连续的值。并且线性回归预测值远超[0,1]范围,因此不适合解决分类问题。
这时,我们需要引入一个新的模型,逻辑回归,让输出变量始终在0到1的范围内。
逻辑
回归模型的假设是: ℎ𝜃(𝑥) = 𝑔(𝜃𝑇𝑋) 其中: 𝑋 代表特征向量 𝑔 代表逻辑函数(logistic
function)是一个常用的逻辑函数为 S 形函数(Sigmoid function),公式为: 𝑔(𝑧) = 1/ 1+𝑒−𝑧。
ℎ𝜃(𝑥)的作用是,对于给定的输入变量,根据选择的参数计算输出变量=1 的可能性
如果对于给定的𝑥,通过已经确定的参数计算得出ℎ𝜃(𝑥) = 0.7,则表示有 70%的
几率𝑦为正向类,相应地𝑦为负向类的几率为 1-0.7=0.3。
对于假设函数我们知道当函数大于0.5时,预测y = 1
当函数小于0.5时,预测y = 0。根据sigomd函数,我们知道z>0时,函数>0.5。所以可以假设z = 𝜃𝑇𝑥即𝜃0 + 𝜃1𝑥1 + 𝜃2𝑥2 所以当上面函数 = 0时。可以画出一条决策边界,来决定y = 0还是1。
线性