《机器学习》对数几率回归——笔记

最新推荐文章于 2024-05-25 14:05:53 发布
最新推荐文章于 2024-05-25 14:05:53 发布
阅读量3.3k 收藏 17
点赞数 6
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guanyuqiu/article/details/84647347
版权

对数几率回归不是回归函数而是分类函数。

 

广义线性模型y=g^{^{-1}}(w^{^{T}}x+b)

提出问题：需要找到一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来

线性回归预测值z=w^{^{T}}x+b，应用于分类问题一般选用“单位阶跃函数”

y=\left\{\begin{matrix}0,z<0 & \\ 0.5,z=0 & \\ 1,z>0 & \end{matrix}\right.

但阶跃函数不连续，而对数几率函数正好可以替代阶跃函数，它单调可微，函数表达式为

y=\frac{1}{1+e^{^{-z}}} 把线性模型代入得到

y=\frac{1}{1+e^{^{-(w^{^{T}}+b))}}}                                 (1)

根据对数形式进行更新变形为：

ln\frac{y}{1-y}=w^{^{T}}x+b                                     (2)

y视为样本x为正例的可能性，1-y则放映了做为反例的可能性。

利用对数几率回归进行分类的优点：

                  1.无需视线假设数据分布，避免了分布不准确所带来的问题；

                  2.不仅预测出类别，而且磕到近似概率预测；

                  3.任意阶磕到的凸函数，比较好优化；

下面推到怎样求模型中的w和b：

对于某一个分类任务，结果输出（0，1）

根据式子(1)中的y视为类后验概率估计p(y=1|x)

则式子(2)可以写成：ln\frac{p(y=1|x)}{p(y=0|x))}=w^{T}x+b

与p(y=1|x)+p(y=0|x)=1

组合解出：

p(y=1|x) = \frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}}

p(y=0|x) = \frac{1}{1+e^{w^{T}x+b}}

可以通过最大似然估计来计算w和b，给定数据集(x{_{i}},y{_{i}}){_{i=1}^{m}},对率回归模型最大化“对数似然”：

L(w,b)=\sum lnp(y{_{i}}|x{_{i}};w,b)

为了方便令\beta =(w;b),\grave{x}=(x;1)则w^{^{T}}x+b可简化为\beta ^{^{T}}\hat{x}

再令

p{_{1}}(\check{x};\beta )=p(y=1|\check{x};\beta )=\frac{e^{\beta ^{T}x{_{i}}}}{1+e^{\beta ^{T}x{_{i}}}}

p{_{0}}(\check{x};\beta )=p(y=0|\check{x};\beta )=1-p{_{1}}(\check{x};\beta )=1-\frac{1}{1+e^{\beta ^{T}x{_{i}}}}

根据最大似然估计代入对数似然模型中得到

L(w,b)=\sum(-y{_{i}}\beta^{T}x{_{i}}+ln(1+e^{\beta^{T}x{_{i}}})))

上式是关于\beta的高阶可导连续凸函数，根据凸优化理论，经典的数值优化算法如梯度下降法、牛顿法等求得最优解

算法思路：

 

sunny_develop
关注
  • 6
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
对数几率回归
CBool的博客
10-31 891
对数几率回归（logistic regression），也常被叫做逻辑回归，用于分类任务当中。 优点：计算代价不高，易于理解和实现 缺点：容易欠拟合，分类精度可能不高 在使用线性模型进行二分类任务时，需要找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来，二分类任务中，输出非0即1，而线性模型则是连续的任意值，二者需要做映射，考虑亥维赛德阶跃函数(单位阶跃函数)： f(x)={...
对数几率回归（Logistic Regression）总结
热门推荐
code_caq的博客
04-09 1万+
逻辑回归logistic regression，虽然名字是回归，但是实际上它是处理分类问题的算法。简单的说回归问题和分类问题如下：回归问题：预测一个连续的输出。 分类问题：离散输出，比如二分类问题输出0或1.逻辑回归常用于垃圾邮件分类，天气预测、疾病判断和广告投放。一、Logistic回归假设函数对于一个分类问题，希望找到一个预测函数hθ(x)，使得：只有发生“y=1”（正例）与不发生“y=0”（
机器学习小白修炼之路---逻辑回归(分类问题)
cj1561435010的博客
09-12 553
逻辑回归 为什么要用逻辑回归 下面的图1可以看出使用线性的回归函数还是勉强可以分开的，以y值为0.5分界。直线的左边表示No，右边表示Yes。但是数据量一旦加多，例如图2，线性的回归函数就不适用了。 逻辑回归各种函数的描述 回归函数 我们需要找到一种回归函数，它的范围在[0,1]区间内，这样才会使所有的值都变得有意义。例如斯坦福大学吴恩达老师所讲的恶性肿瘤的例子，1表示非恶性，0表示恶性。 针...
机器学习--数学部分笔记
最新发布
m0_73872315的博客
05-25 242
因为周三要考试,所以数学部分写一下笔记。
机器学习入门学习笔记：（2.3）对数几率回归推导
hongbin_xu的博客
10-18 9457
理论推导  在以前的博客（机器学习入门学习笔记：（2.1）线性回归理论推导 ）中推导了单元线性回归和多元线性回归的模型。   将线性回归模型简写为：y=ωTx+by = \omega^Tx+b；   对数线性回归模型可以写成：ln(y)=ωT+bln(y) = \omega^T + b；本质上仍然是线性回归，只不过拟合的是非线性的ln函数了。   更一般地，考虑单调可微函数g(.)g(.)，令
ML005 对数几率回归.pdf
06-11
对数几率回归（Logistic Regression，LR）是机器学习领域中一种广泛应用的分类模型。它在处理二分类问题时尤其有效，通过对线性模型的预测结果进行非线性转换，将连续数值映射到0和1之间，以此来表示样本属于某一...
对数几率回归(Python).zip
05-23
在Python中，我们可以利用科学计算库如NumPy、Pandas以及机器学习库如Scikit-Learn来实现对数几率回归。 1. **对数几率回归的基本概念**： - **模型公式**：对数几率回归模型基于线性回归的预测，通过将线性预测值...
机器学习——线性回归
04-26
完成一个线性回归的算法，其中train.npz是数据 读取数据的方式为： import numpy as np data = np.load("train.npz") x_array,y_array = data['x'],data['y'] 其中x_array是对2000组特征，每个特征为五维,y_array是...
机器学习——逻辑回归数据集
03-22
train.csv中存储了原始数据，每人拥有年龄，工作类型等14个维度，共32561个样本。最后一个维度为label，即收入是否大于50k。
机器学习十大经典算法——线性回归
01-06
用来构建一个算法模型(函数)来做属性(x)与标签之间的映射关系，在算法的学习过程中，试图寻找函数，使得参数之间的关系拟合性最好。 2：图解 图中的点为数据的分布，直线为一个映射函数，如何才能找到一个最好的...
机器学习——对数几率回归模型及python代码实现
LCW
02-25 5770
《机器学习：公式推导与代码实践》鲁伟著读书笔记。上一章介绍了线性回归的数学推导过程以及python实现，可以知道线性回归模型就是对数据进行线性拟合或者说是回归，然后采用训练好的模型对未来数据进行预测。那能否运用线性模型对一些数据进行分类呢，这就需要运用对数几率回归模型（logistics regression，LR）这种线性分类模型。 对数几率回归的数学原理 在对数几率回归中，我们需要将线性回归模型的预测值转化为0/1值，而不是去逼近真实标签yyy。而取值范围为（0，1），单调可微的Sigmoid函数便是对
（学习笔记）Logistic Regression 对数几率回归
weixin_46720804的博客
03-27 581
Logistic Regression 对数几率回归 考虑二分类任务，其输出标记 y∈{0,1}y\in\{0,1\}y∈{0,1}，而线性回归产生的预测值z=ωTx+bz=\omega^Tx+bz=ωTx+b是实值，我们需要将实值zzz转换为0/1值，最理想的是“单位阶跃函数”(unit-step function) y={0z<00.5z=01z>0y= \begin{cases} 0& \text{z<0}\\ 0.5& \text{z=0}\\ 1&\tex
机器学习（第三章）3.3对数几率回归
qq_42258383的博客
11-22 1542
机器学习（第三章）3.3对数几率回归 1、对数几率回归的机器学习三要素 1.模型：根据具体问题，确定假设空间——此篇为线性模型，输出值范围为[0,1]，为近似阶跃的单调可微函数； 2.策略：根据评价标准，确定选取最优模型的策略（通常会产生一个“损失函数”）——此篇由最大似然估计法、信息论来确定损失函数最小的等价条件； 3.算法：求解损失函数，确定最优模型，一般无法求出准确值，求得近似值即可——可以采用梯度下降、牛顿法近似求解。 2.算法原理 原理：在线性模型的基础上套一个映射函数来实现分类功能 对于二分类任
西瓜书习题 - 3.线性模型
wdn blog
10-25 1万+
西瓜书第三章线性模型习题
对数几率回归（Logistic Regression）分析与实践
Findingxu的博客
11-07 1万+
目录 1 对数几率回归原理分析 1.1 引入 1.2 损失函数 1.3  求最优解 2 对数几率回归实践 Logistic回归的一般过程 Logistic回归的优缺点 Logistic回归算法描述（改进的随机梯度下降） 《机器学习实战》第五章代码解析          5-1 Logistic回归梯度上升优化方法 5-2 画出数据集和Logistic回归最佳拟合直线的函数 ...
【Machine Learning】对数几率(logistic)回归
Lawe的博客
09-30 4352
这几天做了一个小作业，采用对数回归的方法进给定数集进行训练后再测试，我用的是机器学习实战中介绍的随机梯度上升的办法训练，由于接触机器学习和Python不久，这个主要是为了记录自己的学习之路，希望慢慢的从中得到进步。 一、实验原理         对于二分类任务，其输出标记0和1，但是线性回归模型中产生的预测z，因而需要将实值z转换为0/1值。在数学上正好有这样一个替代函数（Sigmoid函数）
机器学习算法系列（七）-对数几率回归算法（一）（Logistic Regression Algorithm）
Saisimon`s blog
01-09 5065
机器学习算法系列（七）-对数几率回归算法（一）（Logistic Regression Algorithm）
机器学习笔记（三）
qq_38646559的博客
05-08 299
一、线性模型的基本形式线性模型一般形式：f（x）=w1*x1+w2*x2+……+wm*xm+b；x=（x1，......，xm）是属性描述的示例。向量形式：f（x）=wT*x+b；w=（w1，......，wm）。二、线性回归单一属性的线性回归目标：f（x）=wi+b；使得f（xi）≈ yi；参数/模型估计：最小二乘法（least square method）（w*，b*）= argminΣ（f（...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值