Logistic Regression

最新推荐文章于 2024-02-27 17:17:30 发布
最新推荐文章于 2024-02-27 17:17:30 发布
阅读量166 收藏
点赞数
分类专栏： 机器学习 Machine Learning based on online resources
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/niukai1768/article/details/80400352
版权

模型定义

特征 x：m*n
label y：m*1
不同的x, 参数对应一个不同的二项分布
这些二项分布可以通过统计求得

改进

不按照x是否相同，来统计其二项分布的分布律，而每一个样本点都看做一个独立二项分布
这里写图片描述

这样的特点就是这样的二项分布只有俩种，分别为

这里写图片描述
并且能合并表示为

这里写图片描述
这里写图片描述

目标函数——交叉熵

小目标：对于每一个样本点，分别求出一个分布，使得俩者分布差距最小

模型目标：所有的样本差距之和最小

KL散度

Kullback-Leibler Divergence，即K-L散度，是一种量化两种概率分布P和Q之间差异的方式，又叫相对熵。在概率学和统计学上，我们经常会使用一种更简单的、近似的分布来替代观察数据或太复杂的分布。K-L散度能帮助我们度量使用一个分布来近似另一个分布时所损失的信息。

这里写图片描述

K-L散度是数据的原始分布p和近似分布q之间的对数差值的期望

这里写图片描述

其中分布p是我们上面统计出来的数据分布

KL散度与交叉熵的关系

这里写图片描述

目标表示

小目标：对于每一个样本点，分别求出一个分布，使得俩者分布差距最小
这里写图片描述

模型目标：所有的样本差距之和最小

这里写图片描述

目标函数——极大似然估计

同样认为对于每一个样本点都是一个P(y)的二项分布
这里写图片描述

L() 代表获得到样本的概率，希望概率越大越好
这里写图片描述

求对数似然

模型求解

这里写图片描述

这里写图片描述

参考:
1. KL散度的介绍：https://www.jianshu.com/p/43318a3dc715
2. KL散度，交叉熵的关系；在Logistic回归中的应用
3. 邹博老师的课件

云端潜行
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
logistic regression
qqqweiweiqq的博客
04-03 65
【代码】logistic regression。
Python实现逻辑回归(Logistic Regression)
CSDN 精品推荐
03-26 2万+
逻辑回归是一种经典机器学习分类算法，它被广泛应用于二元分类问题中，该算法的目的是预测二元输出变量（比如0和1），逻辑回归算法有很多应用，比如预测股票市场、客户购买行为、疾病诊断等等。它被广泛应用于医学、金融、社交网络、搜索引擎等各个领域。
回归与logistic regression
Dawei_01的博客
09-13 362
参考：7月算法——邹博关于回归的讲义 1:线性回归 线性回归是求一个参数theata ，去拟合大部分样本，线性回归表达式：                                                                   2：用极大似然估计解释最小二乘法： 函数值可以写为：                                        ...
回归算法——Logistics回归、Log对数损失（交叉熵损失）
JustKian的博客
10-17 6859
回归算法——Logistics函数、Log对数损失、交叉熵损失 1.定义 Logistic算法是一个二分类算法，它通过Sigmoid函数，把函数值映射到0~1之间。其概率估计函数公式如下： p^i=hθ(Xi)=σ(θTXi) \hat p_i=h_\theta(X_i)=\sigma(\theta^TX_i) p^​i​=hθ​(Xi​)=σ(θTXi​) 其中p^i\hat p_ip^​i...
逻辑回归（Logistic Regression）
tt丫的博客
05-11 8万+
逻辑回归是线性分类器（线性模型）—— 主要用于二分类问题【拓：如何判别一个模型是否为线性模型理论上分辨：线性模型是可以用曲线来拟合样本的，但是分类的决策边界一定是直线的数学表达上分辨：表达式中的系数w乘上自变量x（一个w系数影响一个自变量维度x）】（1）penalty：表示惩罚项（正则化类型）。字符串类型，取值为’l1’ 或者 ‘l2’，默认为’l2’。l1：向量中各元素绝对值的和，作用是产生少量的特征，而其他特征都是0，常用于特征选择；
逻辑回归（Logistic Regression)详解
热门推荐
weixin_60737527的博客
04-14 21万+
逻辑回归也称作logistic回归分析，是一种广义的线性回归分析模型，属于机器学习中的监督学习。其推导过程与计算方式类似于回归的过程，但实际上主要是用来解决二分类问题（也可以解决多分类问题）。通过给定的n组数据（训练集）来训练模型，并在训练结束后对给定的一组或多组数据（测试集）进行分类。其中每一组数据都是由p 个指标构成。 （1）逻辑回归所处理的数据 逻辑回归是用来进行分类的。例如，我们给出一个人的 [身高，体重] 这两个指标，然后判断这个人是属于”胖“还是”瘦“这一类。对于这个问题，我们可以先测量n个
Logistic regression
qq_41669468的博客
09-10 500
Logistic regression 一、Logistic函数 logistic 函数： hθ(x)=11+e−θTx h_\theta(x) =\cfrac{1}{1 +e^{-\theta^Tx}} hθ​(x)=1+e−θTx1​ Logistic regression原理上是利用最大似然估计的方法对未知参数进行求解。 分类函数 以二分类为例：在机器学习中，使用二分类对数据进行分类时，假设 {p(y=0∣x;θ)=1−hθ(x)P(y=1∣x;θ)=hθ(x) \Huge \{ ^ { \larg
Logistic Regression Model
NZOGGY_的博客
02-05 1302
Logistic Regression Model Cost Function Logistic Function will not be a convex function, it will cause the output to be wavy, causing many local optima. Cost function for logistic regression looks like: When y=1, J(θ)J(\theta)J(θ) vs hθ(x)h_\theta(x)hθ​
sklearn实现逻辑回归(Logistic Regression)
CSDN 精品推荐
01-07 2535
在这篇文章中，我们将深入探索逻辑回归——一种在统计学和机器学习领域广泛应用的分类算法，特别是在处理二分类问题时。逻辑回归不仅以其简洁性和强大的解释性著称，还因其在多个领域的广泛应用而备受青睐。
Python-sklearn-LogisticRegression
最新发布
2401_82889064的博客
02-27 638
/
LogisticRegression 参数详解
09-21
这个文件是对python sklearn库里面的Logistic Regression模型的参数解释。
logistic regression.zip
10-06
3. **模型构建**：使用Scikit-learn的`LogisticRegression`类创建模型，并设置相应的参数，如正则化强度（C）、优化算法（liblinear、newton-cg等）。 4. **模型训练**：使用训练数据拟合模型，调用`fit`方法。 5. *...
机器学习实验二logistic Regression
01-17
**机器学习实验二：逻辑回归 Logistic Regression** 在本次实验中，我们将深入探讨机器学习领域中的一个重要算法——逻辑回归（Logistic Regression）。逻辑回归虽然名字中含有“回归”二字，但实际上它是一种广泛...
Logistic Regression with matlab
02-19
**Logistic Regression with MATLAB** **一、Logistic Regression 简介** 逻辑回归（Logistic Regression）是一种广泛应用的分类算法，尤其在二分类问题中表现出色。它通过构建一个线性函数并应用Sigmoid激活函数将...
Cost function
niukai1768的专栏
05-22 3109
cost function的形式 cost function的推导满足以下过程： 1. 认为error 满足某个分布，写出样本点xi的样本的error 2. 认为样本点是相互独立的，推导出其对数似然函数 3. 求偏导，是得导函数为0，分离常数部分，得到误差的表达形式 e.g. 线性回归中关于MSE的推导：https://nk2000.github.io/2018/05/16/Linea...
函数间隔和几何间隔
niukai1768的专栏
10-26 1563
问题描述：求一个任意点，到一个超平面的距离 超平面表示 在线性代数中，一个超平面可以用下式表示  y(X)=WTX+w0\ y(\mathbf{X}) = \mathbf{W}^{T}\mathbf{X} + w0 y(X)=WTX+w0 证明W是超平面的法向量 在超平面上任取俩个点Xa，Xb。因为 y(Xa)=y(Xb)=0\ y(\mathbf{Xa}) = ...
Word Sense Disambiguation
niukai1768的专栏
09-11 1334
1 Introduction I build a basic bi-lstm model, bi-lstm + attention model and a multy task learning model describe in the paper and a model which Incorporates glosses information using memory network to...
XGBoost
niukai1768的专栏
05-22 1235
回顾 决策树的分类能力由叶子节点上的条件概率分布决定 决策树的内路径只决定了特征空间的划分情况，即给定一个样本xi，最终会落在哪个节点 思考： 提升的定义 提升的框架 思路：在构建好的k-1棵决策树的基础上，构建第k棵决策树 符号说明： 这里需要解释一下俩棵决策树的加权和的含义 权值a1,a2取值不同，首先决定了不同的特征空间的划分，统计后得到不同的条件...
LogisticRegression
06-03
`LogisticRegression`是一种经典的二分类模型，它可以用于预测二元变量的概率。在训练阶段，`LogisticRegression`通过拟合训练数据集来学习一个线性模型，并将该模型应用于预测测试数据。在`LogisticRegression`中，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值