李宏毅机器学习自用笔记------逻辑回归

最新推荐文章于 2023-05-13 21:27:35 发布

PlutoLilian

最新推荐文章于 2023-05-13 21:27:35 发布

阅读量408

点赞数

文章标签：机器学习逻辑回归 python

本文链接：https://blog.csdn.net/PlutoLilian/article/details/126704593

版权

什么是逻辑回归？

逻辑回归是用来解决二分类问题的

以上这个公式是怎么实现分类的呢？

已知线性回归模型输入和输出都是负无穷到正无穷的任意数，而sigmoid函数如图

其输入为负无穷到正无穷，而输出为零到一的实数，且输入小于零时它的输出小于零点五，输入大于零时它的输出大于零点五。这样一来我们就可以把小于零点五的输出预测为零，大于零点五的输出预测为一，这样就将原来的线性回归变成了二分类模型。

以上就是逻辑回归函数，也就是把线性回归的输出作为sigmoid函数的输入

逻辑回归应用于判别式模型，也就是直接把新的样本的特征向量输入后输出为类别数值

Logistic regression 的三个步骤

1）function set

其实逻辑回归并不一定是 function，也可能是其他函数，但通常选择sigmoid。

我们在逻辑回归中选择的f都是线性回归函数，因此我们需要调整参数矩阵w和常数b。

2）goodness of the funct

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

PlutoLilian

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

2021李宏毅机器学习笔记--6 logistic regression逻辑回归（一种分类方法）

guoxinxin0605的博客

05-15

276

2021李宏毅机器学习笔记--6 logistic regression逻辑回归（一种分类方法）摘要步骤step1 Function Setstep2 Goodness of a Functionstep3 Find the best function小结及展望摘要 logistic regression 逻辑回归虽然他的名字中带有“回归”，但是实际上它是一种分类方法，与之前学习的线性回归是不同的。步骤 step1 Function Set 求和所有的参数w和x的乘积，加上b就是z的值，然后sigm

李宏毅机器学习笔记-----Self-Attention

m0_56250941的博客

07-29

341

Self-Attention

参与评论您还未登录，请先登录后发表或查看评论

李宏毅机器学习系列-逻辑回归

王伟王胖胖的博客

08-15

569

李宏毅机器学习系列-逻辑回归分类回顾逻辑回归+均方差损失函数分类回顾我们先回顾下前面我们讲的分类的步骤，第一步先找到一个模型集合，是个概率模型，最后可以转化为sigmoid函数，输入是一个线性函数，如果结果大于等于0.5，则认为是类1，否则是类2：如果画出结构图的话应该是这样，每个特征xix_ixi都有一个权重，然后加上偏置，输入到sigmoid函数里，得到0到1的概率值：第二步我们...

李宏毅机器学习-逻辑回归

柯同学要谦虚

03-16

367

文章目录逻辑回归和线性回归基本结构决定好坏更新方法Reason生成模型和判别模型Softmax 逻辑回归和线性回归基本结构决定好坏更新方法 Reason 如果是交叉熵，距离target越远，微分值就越大，就可以做到距离target越远，更新参数越快。而平方误差在距离target很远的时候，微分值非常小，会造成移动的速度非常慢，这就是很差的效果了生成模型和判别模型训练集数据量很小的情...

李宏毅 机器学习笔记-06 逻辑回归（Logistic Regression）

花花的博客

08-17

746

Logistic Regression 回顾上个笔记的最后我们已经化简了模型，今天我们继续来研究如何计算模型。P(C1∣x)=σ(z)P(C_1|x) = \sigma ( z )P(C1∣x)=σ(z) 得到:P(C1∣x)=σ(w⋅x+b)P(C_1|x) = \sigma ( w \cdot x + b )P(C1∣x)=σ(w⋅x+b) Step 1: Function Set 三...

李宏毅机器学习笔记第5周_逻辑回归

peaunt1的博客

05-15

434

逻辑回归

台大-李宏毅-B站机器学习视频-课件.zip

09-30

台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器...

李宏毅机器学习HW1-PM2.5预测.zip

04-23

【标题】"李宏毅机器学习HW1-PM2.5预测"是一个关于利用机器学习技术预测空气质量，特别是PM2.5浓度的课程作业。PM2.5是指大气中直径小于或等于2.5微米的颗粒物，对人体健康和环境有显著影响。这个作业可能涉及收集...

2021李宏毅机器学习笔记--18Unsupervised Learning -- Neighbor Embedding

guoxinxin0605的博客

08-07

549

2021李宏毅机器学习笔记--18 Unsupervised Learning -- Neighbor Embedding 摘要一、Manifold Learning(流形学习)二、Locally Linear Embedding(LLE,局部线性嵌入)三、Laplacian Eigenmaps(拉普拉斯特征映射)3.1 简介二级目录二级目录四、总结二级目录三级目录摘要 wijw_{ij}wij wiw^iwi 本节是进行非线性降维的一些算法。包括局部线性嵌入LLE、拉普拉斯特征映射和t分布随

李宏毅深度学习笔记——逻辑回归

gzhhappy的博客

12-14

282

逻辑回归 Logistic Regression 虽然被称为回归，但其实际上是分类模型，并常用于二分类。 Logistic 回归的本质是：假设数据服从这个分布，然后使用极大似然估计做参数的估计。Logistic 回归实际上是使用线性回归模型的预测值逼近分类任务真实标记的对数几率，其优点有：直接对分类的概率建模，无需实现假设数据分布，从而避免了假设分布不准确带来的问题（区别于生成式模型）；不仅可预测出类别，还能得到该预测的概率，这对一些利用概率辅助决策的任务很有用；对数几率函数是任意阶

李宏毅-逻辑回归

04-17

174

1、logical 回归与liner 回归的区别　　logical 返回值是0到1之间，因为通过了sigmoid函数（函数值0到1）得到的值，具体推导见视频。线性回归返回值可以是任何值 2、逻辑回归推导过程。朴素贝叶斯分类->sigmoid函数-> loss function表示成每一个样本分类结果值（Fwb（x）的函数值）其实就是s...

李宏毅深度学习——逻辑回归

Grateful_Dead424的博客

12-12

801

这就是logistic regression的原理 logistic regression相比于linear regression而言，外面套了一个sigmoid函数 y_hat是110而不是101 y_hat是110而不是101 交叉熵(cross entropy):cross entropy代表的含义是这两个分布有多接近，两个分布越接近cross entropy算出来就会越小 step 2里面的两个L函数指的是损失函数，对于logistic regre...

李宏毅深度学习笔记（六）逻辑回归

comli_cn的博客

11-12

266

设置函数我们可以找到一个函数Pw,b(C1∣x)P_{w,b}(C_1|x)Pw,b(C1∣x)，如果Pw,b(C1∣x)≥0.5P_{w,b}(C_1|x)\ge0.5Pw,b(C1∣x)≥0.5则输出C1C_1C1，否则输出C2C_2C2。 逻辑回归的模型如下： Pw,b(C1∣x)=σ(z)P_{w,b}(C_1|x)=\sigma(z)Pw,b(C1∣x)=σ(z) z=...

李宏毅机器学习——逻辑回归

日积月累，天道酬勤

12-01

712

逻辑回归 第一步先选择函数集步骤一：函数集接上一篇，我们知道，给定一个x,它属于类别C1C_1C1的概率为Pw,b(C1∣x)P_{w,b}(C_1|x)Pw,b(C1∣x), 如果Pw,b(C1∣x)≥0.5P_{w,b}(C_1|x)\geq0.5Pw,b(C1∣x)≥0.5则属于C1C_1C1；否则属于C2C_2C2 最后我们得到 Pw,b(C1∣x)=σ(z),σ(z)=...

李宏毅机器学习2016 第五讲 逻辑回归

Come_for_IT 的博客

01-15

679

视频链接：李宏毅机器学习(2016)_演讲•公开课_科技_bilibili_哔哩哔哩课程资源：Hung-yi Lee 课程相关PPT已经打包命名好了：链接：https://pan.baidu.com/s/1c3Jyh6S 密码：77u5 我的第四讲笔记：http://blog.csdn.net/sinat_25346307/article/details/79063

【李宏毅】机器学习 笔记05（Logistic Regression：逻辑回归）

Mr_Kingk的博客

07-26

290

Setp 1：Fuction Set 将z代入sigmod函数：1/1+e^-z Step2：Goodnessofafunction：找出使L(w,b)最大的w和b，记为w*和b* H（p,q）称为p和q的交叉熵（crossentropy）； Step3：Findthebestfunction：使用gradient descent来最小化−lnL(w,b) 对w求偏导：最终计算结果：比较Logistic Regression（...

[李宏毅-机器学习]逻辑回归Logistic Regression

炼丹师

02-12

366

逻辑回归相对于线性回归，是在y=ax+b上用sigmoid做输出的限制 逻辑回归用于分类，线性回归用于拟合数据使用梯度下降获得最终结果为什么逻辑回归不能用均方误差？判别式模式和生成式模型判别式模型知道找到类别的判别式中的参数，即直接找到P（C|x）分布而生成式模型需要先对P（x|C）进行假设建模（如高斯模型），然后找到该模型的参数，得到P（x|C）...

李宏毅机器学习——Logistic回归

Joker的博客

05-31

659

文章目录Logistic回归分类概念概率和分类的关系后验概率Step1 逻辑回归的函数集Step2 定义损失函数Step3 寻找最好的函数损失函数：逻辑回归为什么不使用线性回归的平方误差？判别模型 vs 生成模型生成模型的优势多类别分类Softmax定义 target逻辑回归的局限特征转换级联逻辑回归模型 Logistic回归分类概念分类要找一个 functionfunction 函数，输入对象 xx 特征，输出是该对象属于 nn 个类别中是属于哪一个。概率和分类的关系下面的 Class1 和

李宏毅机器学习第三周_逻辑回归

m0_68477761的博客

05-13

357

在本周主要对逻辑回归进行了学习，从中了解了交叉熵（cross entropy）的表达式以及它的优势，还对softmax函数与sigmoid函数进行了比较，懂得了在多分类问题中，多用softmax函数，而不是sigmoid函数。逻辑回归(Logistic Regression)是一种统计学学习方法,用于分类问题的预测。它利用线性回归方程,通过一个sigmoid函数将其值转换到0到1之间,可以输出分类的概率。

李宏毅机器学习HW5-Transformer数据