python底层实现逻辑回归附代码思路和知识点

逻辑回归是一种分类算法，它适用于标签y取值离散的情况。而线性回归只能预测连续的值。并且线性回归预测值远超[0,1]范围，因此不适合解决分类问题。

这时，我们需要引入一个新的模型，逻辑回归，让输出变量始终在0到1的范围内。

逻辑
回归模型的假设是： ℎ𝜃(𝑥) = 𝑔(𝜃𝑇𝑋) 其中： 𝑋 代表特征向量 𝑔 代表逻辑函数（logistic
function)是一个常用的逻辑函数为 S 形函数（Sigmoid function），公式为： 𝑔(𝑧) = 1/ 1+𝑒−𝑧。

ℎ𝜃(𝑥)的作用是，对于给定的输入变量，根据选择的参数计算输出变量=1 的可能性

如果对于给定的𝑥，通过已经确定的参数计算得出ℎ𝜃(𝑥) = 0.7，则表示有 70%的
几率𝑦为正向类，相应地𝑦为负向类的几率为 1-0.7=0.3。

对于假设函数我们知道当函数大于0.5时，预测y = 1
当函数小于0.5时，预测y = 0。根据sigomd函数，我们知道z>0时，函数>0.5。所以可以假设z = 𝜃𝑇𝑥即𝜃0 + 𝜃1𝑥1 + 𝜃2𝑥2 所以当上面函数 = 0时。可以画出一条决策边界，来决定y = 0还是1。

线性