手写逻辑回归 ——Logistic Regression的详细推导与python实现

最新推荐文章于 2024-05-12 18:41:45 发布

xingzhe2001

最新推荐文章于 2024-05-12 18:41:45 发布

阅读量2.5k

点赞数 7

分类专栏： Machine Learning 文章标签： Logistic Regression

本文链接：https://blog.csdn.net/xingzhe2001/article/details/85640321

版权

本文详述了Logistic Regression的理论与Python实现，包括决策边界的推导、Sigmoid函数的应用、代价函数的构建及梯度下降等优化算法。通过实例展示了逻辑回归在解决二分类问题上的应用，并给出了完整的代码实现。

摘要由CSDN通过智能技术生成

Logistic Regression是一种分类算法，返回分类0或者1

逻辑回归将样本线性分割为两类，跟样本距离分割线的距离和正负来推算样本可能的类别

产生的分割线，也叫决策边界，Decision Boundary为

$y=\theta^TX$

样本到分割线的距离为

$z^{(i)}=\theta^TX^{(i)}$

则预测函数为

$h_\theta(X)=g(\theta^TX)$

对于二分类问题，代价的分布可以认为是伯努利分布，则根据极大似然估计法可以推得其中g一般为S型函数 sigmoid function 或者 logistic function

$g(z)=\frac{1}{1 + e^{-z}}$

把这个函数画出来

def __sigmoid(z):        
    epart = np.exp( z )
    return epart / (1 + epart)

z = np.arange(-20,20)
plt.plot(z, __sigmoid(z))
plt.title('sigmoid')
plt.show()

所以总的预测函数hyperthesis为

$h_\theta(X) = \frac{1}{1 + e^{-\theta^T X}}$

    #for n feature, x = 0:n, theta = 0:n
    def __hypothetic(self, x):
        z = np.dot(self.theta, x) + self.intercept
        return self.__sigmoid(z)

这样h将返回给定x, y=1的概率，即

$h_\theta(X) = P(y=1|x; \theta)$

通过添加多项式回归参数，比如 x1, x1^2, x2, x2^2等等，线性逻辑回归也可以分类非线性问题。

单个代价为

$cost(x) = -h_\theta(x)^y (1-h_\theta(x))^{1-y}$

取Log, 最大化L既可以得到theta

$logcost=-(y \log h_\theta(x) + (1-y) \log (1-h_\theta(x)))$

 #y log h + (1 - y) log( 1- h )
    def __loglikelihood(self, x, y):
        h = self.__hypothetic(x)
        return y * np.log(h) + (1 - y)*np.log(1 - h)

这是，代价函数