逻辑回归模型(二)——sklearn实现逻辑回归(logistic regression)

本文介绍了如何通过sklearn库实现逻辑回归模型,包括理解logistic函数、逻辑代价函数及其优化,以及展示如何修改Adaline算法以适应逻辑回归。还讨论了过拟合和正则化,并展示了在sklearn中调整正则化参数C对权重的影响。
摘要由CSDN通过智能技术生成

【Modeling class probabilities via logistic regression】  

类概率的逻辑回归建模

, 

事件发生的几率(odds)定义为 事件发生概率与事件未发生概率的比值。logit函数代表事件的几率,其中p代表我们所预测事件发生的概率。

sigmoid 函数(S形函数)   ,   

如下图sigmoid函数输入为全体实数,将输入转化为(0,1)之间的数

#sigmoid函数
import matplotlib.pyplot as plt
import numpy as np

def sigmoid(z):
    return 1.0 / (1.0 + np.exp(-z))
z = np.arange(-7, 7, 0.1)
phi_z = sigmoid(z)
plt.plot(z, phi_z)
plt.axvline(0.0,color = 'k')
plt.ylim(-0.1, 1.1)
plt.xlabel('z')
plt.ylabel('$\phi(z)$')
plt.yticks([0.0, 0.5, 1.0])
ax = plt.gca() #Get Current Axes
ax.yaxis.grid(True)

【Learning the weights of the logistic cost function】

逻辑代价函数的权值

方差总和为    

似然函数(Likelyhood function):

对数似然函数(log Likelyhood ):

对数似然函数进行最大化更简单~

代价函数(cost  function):

可以采用剃度下降法对代价函数进行最小化优化。

为了更好的利用代价函数,

  • 1
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值