Why No Error Term in Logistic Regression Classification Expression(为什么逻辑回归中不存在误差项)?


Error term有多种解释,可以从不同的角度说明为什么逻辑斯蒂回归中没有error term.

1. 概率分布的角度, 表达式上不存在

E[y|x]=p(y=1|x)=wx+b+error ???

在线性回归预测问题中,
y = w T x + b y=w^Tx+b y=wTx+b
for true: y = w T x + b + ϵ y=w^Tx+b+\epsilon y=wTx+b+ϵ
↓ \downarrow
for prediction: y ^ = w T x + b \hat{y}=w^Tx+b y^=wTx+b
 
在逻辑斯蒂二元分类的问题中,

p ( y = 1 ∣ x ) = s i g m o i d ( w T x + b ) p(y=1|x)=sigmoid(w^Tx+b) p(y=1x)=sigmoid(wTx+b)
类比地:
for true: p ( y = 1 ∣ x ) = s i g m o i d ( w T x + b ) + ϵ p(y=1|x)=sigmoid(w^Tx+b)+\epsilon p(y=1x)=sigmoid(wTx+b)+ϵ
for prediction: p ^ ( y = 1 ∣ x ) = s i g m o i d ( w T x + b ) \hat{p}(y=1|x)=sigmoid(w^Tx+b) p^(y=1x)=sigmoid(wTx+b)

注意到:
E ( y ∣ x ) = 1 ∗ p ( y = 1 ∣ x ) + 0 ∗ p ( y = 0 ∣ x ) = p ( y = 1 ∣ x ) E(y|x)=1*p(y=1|x)+0*p(y=0|x)=p(y=1|x) E(yx)=1p(y=1x)+0p(y=0x)=p(y=1x)
 
p ( y = 1 ∣ x ) = s i g m o i d ( w T x + b ) + ϵ ↓ E ( y ∣ x ) = s i g

  • 4
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
是的,Python的scikit-learn库提供了LogisticRegression类来实现逻辑回归模型。该类可以用于二分类问题和多分类问题,支持多种参数估计算法,例如使用liblinear库实现的梯度下降法和牛顿法,以及使用lbfgs和sag库实现的拟牛顿法等。 下面是一个简单的代码示例,演示如何使用LogisticRegression类来训练和预测逻辑回归模型: ```python from sklearn.linear_model import LogisticRegression from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score # 加载数据集 iris = load_iris() X = iris.data[:, :2] # 只使用前两个特征 y = iris.target # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42) # 定义逻辑回归模型 clf = LogisticRegression() # 训练模型 clf.fit(X_train, y_train) # 预测测试集 y_pred = clf.predict(X_test) # 计算准确率 acc = accuracy_score(y_test, y_pred) print("Accuracy:", acc) ``` 在这个示例,我们使用了鸢尾花数据集进行训练和测试,只使用了前两个特征。首先,我们使用train_test_split函数将数据集随机划分为训练集和测试集。然后,我们定义了一个LogisticRegression类的实例clf,并使用fit方法训练模型。最后,我们使用predict方法对测试集进行预测,并使用accuracy_score函数计算预测准确率。 当然,这只是一个简单的示例,实际应用需要根据具体问题进行调参和优化,以获得更好的性能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值