机器学习（四）——Logistic回归

最新推荐文章于 2022-09-27 15:34:01 发布
最新推荐文章于 2022-09-27 15:34:01 发布
阅读量251 收藏
点赞数
文章标签： 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SampsonTse/article/details/103804304
版权

目录

 

一、前言：

二、假设陈述

三、决策界限

四、获取参数

1.CostFunction

2.梯度下降

五、多元分类

一、前言：

  1. 吴恩达第七章Logistic回归（本文例子均来自吴恩达视频课）
  2. 本文公式中的θ与x均为向量而不是单个值

 

二、假设陈述

案例概述：根据肿瘤的大小判断是否为良性肿瘤。这是一个二项分布的问题，输出的结果分别用1和0来表示

在Logistic回归中，希望输出得是[0,1]这个范围，即为某种情况得概率（如下面这个公式就是y=1的概率）

g(z)为sigmoid函数

\large h_\Theta (x)=g(\Theta ^{T}x)=p(y=1|x;\Theta )

\large g(z)=\frac{1}{1+e^{-z}}

当得到的h_θ(x)>=0.5时，y=1

当得到的h_θ(x) < 0.5时，y=0

 

 

 

三、决策界限

 

假设有以下一个数据集，拟合函数为 \large h_\Theta =g(\Theta _0+\Theta _1x_1+\Theta _2x_2)，通过计算我们得到理想的参数为[-3,1,1]。

 

根据上一段sigmoid函数的图像可以看出

\large z\geq 0   即   \large -3+x_1+x_2\geq 0   时   ，   \large g(z)\geq 0.5

 

通过简单的移向得到\large x_1+x_2\geq 3，可以在坐标系中画出以下一条直线，这条直线就称之为决策边界。

这样我们就把数据集划分为两个部分，决策边界的下面为良性肿瘤，而决策边界上面为非良性肿瘤。

 

对于不同的数据集分布，可以采取不同的公式进行划分。

如下图便采用圆形图像进行划分。

 

四、获取参数

1.CostFunction

在回归问题中，采用的代价函数如下：

\large J(\Theta )=\frac{1}{m}\sum_{i=1}^m Cost(h_\Theta (x),y)

\large Cost(h_\Theta (x),y)=\frac{1}{2}(h_\Theta (x^{i})-y^{i})^{2}

但是在Logistic回归问题中不能采取相同的代价函数，因为我们采用的sigmoid函数，这使得代价函数的公式为一个非凹函数，该函数有多个较小值量，很难得到最小值。

 

因此在此采取新的代价函数

但是由于这是个分段函数，在计算过程中太麻烦，可以将此函数进行如下优化

\large J(\Theta )=\frac{1}{m}\sum_{i=1}^m Cost(h_\Theta (x),y)

\large Cost(h_\Theta (x),y)=-y\log (h_\Theta (x))-(1-y)\log (1-h_\Theta (x))

 

2.梯度下降

在此梯度下降的方法与前面的线性回归的梯度下降的方式是一样的。在此直接给出公式

repeat until convergence{

    \Theta_j :=\Theta _j-\alpha \frac{\partial J(\Theta))}{\partial \Theta_j }

       (simultaneously update all \small \Theta _j)

}

 

五、多元分类

前面讨论的都是两种结果的情况，只需要分出两种类别。但是现实生活中我们需要分的情况远远不止两种情况。这个时候我们只需要把一个类别单独划分出来，剩下的几种情况归为统称为另一个类别，这样就转化为一个二元分类。这样用多个函数来把给种类别划分出来

 

 

 

 

 

 

 

 

 

SampsonTse
关注
Python机器学习（二） Logistic回归建模分类实例——信用卡欺诈监测（上）
qq_43678480的博客
01-12 592
Python机器学习（二） Logistic回归建模分类实例——信用卡欺诈监测（上）
机器学习——Logistic回归
fishsmans的博客
12-07 2013
Logistic回归简介 Logistic回归是统计学习中的经典分类方法，属于对数线性模型，所以也被称为对数几率回归。该模型是一种分类算法，Logistic回归是一种线性分类器，针对的是线性可分问题。我们要了解Logistic回归进行分类的主要思想是：根据现有的数据对分类边界线建立回归方程，然后以此进行分类。这里回归一词源于最佳拟合参数，表示要找到最佳拟合参数集。 Logistic回归的优点在于计算代价不高，易于理解和实现。缺点是容易发生欠拟合现象，分类的精度不高。适合于数值型和标称型数据进行分类。 1.基
logistics回归测试数据集
04-26
用于logistics回归的测试数据集，其中logistics回归的Python实现和MATLAB实现在另一篇博文里
logistic回归二分类
10-31
吴恩达网易云公开课《深度学习》week2--logistic回归数据集及代码实现
Python机器学习（二）：Logistic回归建模分类实例——信用卡欺诈监测（上）
weixin_43196158的博客
05-01 496
添加链接描述
二项logistic回归案例分析（附操作数据）
m0_37228052的博客
09-27 7099
现收集到银行贷款客户的个人、负债信息，以及曾经是否有过还贷违约的记录，试分析是否违约的相关因素，并构建模型用于贷款违约风险预测。（数据来源：SPSS自带案例数据集）数据上传SPSSAU后，在 “我的数据”中查看浏览原始数据，前5行数据如下：图1 “我的数据”查看浏览数据集。
从零开始的机器学习——Logistic回归 （2018-8-6）.zip
最新发布
04-16
作为人工智能核心研究领域之一的机器学习， 其研究动机是为了使计算机系统具有人的学习能力以实现人工智能。 那么， 什么是机器学习呢？ 机器学习 (Machine Learning) 是对研究问题进行模型假设，利用计算机...
机器学习实战——logistic回归
weixin_46120403的博客
11-21 773
一、Logistic回归介绍 假设现在有一些数据点，我们用一条直线对这些点进行拟合（该线称为最佳拟合直线），这个拟合过程就称作回归。利用Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。这里的“回归”一词源于最佳拟合，表示要找到最佳拟合参数集。训练分类器时的做法就是寻找最佳拟合参数，使用的是最优化算法。 1.Logistic回归的一般过程 收集数据：采用任意方法收集数据。 准备数据：由于需要进行距离计算，因此要求数据类型为数值型。另...
pytorch 变量（Variable运用）、线性回归、二分类逻辑回归模型的例子实现
m0_52347246的博客
05-28 448
1、变量（Varaible) 例子：变量实现自动求导 import torch from torch.autograd import Variable #导入自动求导的包 #定义3个张量 x = Variable(torch.Tensor([1,2,3]),requires_grad = True) w = Variable(torch.Tensor([2,3,4]),requires_grad = True) b = Variable(torch.Tensor([3,4,5]),requires_g
机器学习——逻辑回归logistic实现二分类（matlab）
09-20
输入：特征和标签->模型->回归系数->预测：分类结果 功能：逻辑回归实现二分类
Pytorch深度学习（五）：Logistic 回归（实现二分类）
qq_42585108的博客
08-21 2305
Logistic回归实现二分类一、概念二、完整代码如下：三、测试模型 一、概念 从下面的例子来进行，假设只要得到一定分数就可以看作可以通过考试： 相当于我们不再预测学习4小时可以得到的成绩，而是判断学习4小时是否可以通过考试。 在分类中，模型的输出是输入属于确切类别的概率。 我们可以引入sigmond函数： 可以进行归一化处理，方便我们可以进行相关的分类任务。 Loss Function也发生了上述的变化。 我们也可以使用mini-batch 二、完整代码如下： import torch #1.准
（转载）—— Logistic Regression（逻辑回归）模型实现二分类和多分类
然后就去远行
09-12 1343
———————————————————————————————————————————— ** 本文转载于https://blog.csdn.net/u011734144/article/details/79717470，如有侵权，请联系我删除！ ** ———————————————————————————————————————————— 一、逻辑回归 二、判定边界 当将训练集的样本以其各个特...
机器学习与数据分析课程笔记-分类-logistic回归
k17041114的博客
05-29 669
logistic回归虽然被称为回归但是其实它时常用于分类。 什么是分类? 常见的分类以下例子: 判断肿瘤良性恶性 判断在线交易是否是伪交易 判断明天是否下雨 回答都是（Yes或者No），相当于将数据分为两类。分别用0和1代表，0代表负类，1代表正类 逻辑回归主要解决二分类问题，逻辑回归在线性回归的基础上进行了变换。logistic回归在线性回归的基础上，进一步变换，使得模型假设的...
logistic回归_二元logistic回归分析
热门推荐
weixin_39806808的博客
11-28 1万+
SPSS学习乐园点击上方 蓝色 字体可关注logistic回归前面介绍过多重线性回归分析，该分析方法是研究一个因变量(服从正态分布)与多个自变量的数量关系，多重线性回归分析。 在医学研究中，常常需要研究的结局变量不是连续型变量，而是二分类变量或多分类变量，logistic回归分析就能解决这问题。依据因变量的分类情况，可分为二分类logistic回归和多分类logis...
graphpad prism显著性差异分析_SPSS多元有序logistic回归分析在医学统计中的运用（冠心病案例）——【杏花开医学统计】...
weixin_39738273的博客
11-22 3298
杏花开生物医药统计一号在手，统计无忧！关注SPSS多元有序logistic回归分析在医学统计中的运用关键词：多元有序、logistic导 读 在前几期，我们详细介绍了二元logistic回归和无序多分类logistic回归研究分类变量与其他因素间的影响关系的方法。 请查看相关的文章(视频)： 《用SPSS进行医学数据的二元logistic回归分析的详细步骤》 《...
二分类数据集_机器学习实战：Logistic回归（二）分类器的应用例子（含数据集）...
weixin_39610785的博客
11-27 2316
一起探索机器学习Machine learningLogisticCSDN：https://blog.csdn.net/weixin_45814668知乎：https://www.zhihu.com/people/qiongjian0427Git：https://github.com/qiongjian/Machine-learning/运行环境：anaconda—jupyter note...
Logistic回归--实例
尚未佩妥剑 转眼便江湖
03-13 5017
逻辑回归 Logistic回归一种二分类算法，它利用的是Sigmoid函数阈值在[0,1]这个特性。Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。其实，Logistic本质上是一个基于条件概率的判别模型(Discriminative Model)。 梯度上升算法 求函数的极值： &amp;amp;quot;&amp;amp;quot;&amp;amp;quot; 函数说明:梯度上升算法测试函数 求函数f(x) = -
SPSS（九）Logistic模型族进阶（图文+数据集）
可乐联盟
05-22 7018
SPSS（九）Logistic模型族进阶 我么们知道logistic回归针对的是二分类的因变量 当因变量是无序多分类和有序多分类的情况呢？所以这篇博客介绍下面两种方法 无序多分类Logistic回归模型 有序多分类Logistic回归模型 无序多分类Logistic回归模型 研究问题：病例－对照研究中设立一组病例和多组对照，需要分析暴露是否和患病有关，则结局变量为无序三分类，应当...
清华大学机器学习课程：Logistic回归与最大熵模型解析
"清华出品的机器学习技术课程——统计学习方法第二版系列课程，涵盖了从基础到高级的各种机器学习算法，包括Logistic回归与最大熵模型。课程内容深入浅出，适合不同层次的学习者。本资源特别关注Logistic回归，它是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值