机器学习100天-5-逻辑回归探究

最新推荐文章于 2021-07-26 10:46:52 发布
最新推荐文章于 2021-07-26 10:46:52 发布
阅读量209 收藏 1
点赞数 4
分类专栏： 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39381833/article/details/88528742
版权

LR

logistic回归,是一种广义的线性回归分析模型

常用与数据挖掘 疾病自动诊断 经济预测

优点

  • 计算地阿基啊相对较低
  • 思路清晰易于理解和实现

缺点

  • 线性分类器 容易欠拟合
  • 分类精度不高

逻辑回归简介

名为回归 实质为分类
在这里插入图片描述
ps:默认为列向量 转置为行向量

过程

在这里插入图片描述
特征向量

线性变换
在这里插入图片描述
Sigmoid
在这里插入图片描述
预测结果

逻辑回归模型

在这里插入图片描述
性质

  • 线性分类器 无特殊处理 无法解决非线性问题

建模过程

  • 通过训练数据集 计算出"最合适"的系数向量
  • “最合适” 可以理解为出错的概率最低

应用

  • 分类建模效果的Baseline之一

极大自然估计

Maximum

利用已知结果反推最有可能导致这样结果的参数值
在这里插入图片描述

公式推导
在这里插入图片描述

例题2.1 设样本服从正态分布,用似然估计参数

在这里插入图片描述
求对数 变为对数似然函数
在这里插入图片描述
第二步 求解使似然函数最大的参数,也就是结果

在这里插入图片描述

用极大似然建立损失函数

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

梯度的背景知识

梯度
梯度是一个方向向量
表示某一个函数在某个点沿着该方向(梯度的方向)变化最快
在这里插入图片描述

举例
在这里插入图片描述
数学定义
在这里插入图片描述
在这里插入图片描述

用梯度上升法最优化参数求解

在这里插入图片描述
通用解法
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

逻辑回归的伪代码

逻辑回归的伪代码

在这里插入图片描述

最大熵模型的介绍

在这里插入图片描述
例题
在这里插入图片描述
在这里插入图片描述
最大熵模型的定义
在这里插入图片描述

oifengo
关注
  • 4
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
机器学习基础-逻辑回归练习
忆_恒心的博客
06-19 1857
目录 1 前言 2 练习 2.1 查看数据图像： 2.2 sigmoid函数 2.3 代价函数： 2.4 梯度下降函数 2.5 预测函数 1 前言 ex2-logistic regression 在这个练习中，你将使用逻辑回归来判断学生是否被大学录取 在训练的初始阶段，我们将要构建一个逻辑回归模型来预测，某个学生是否被大学录取。设想你是大学相关部分的管理者，想通过申请学生两次测试的评分，来决定他们是否被录取。现在你拥有之前申请学生的可以用于训练逻辑回归的训练样本集。对于每一个训练样本，
【python机器学习100天—2022年】Day4-逻辑回归
ly甲烷的博客
05-09 647
大家好，我是ly甲烷😜，后端开发也有做算法的心呀💗 ，我们来学习python机器学习 github有37.1k star的机器学习100天原项目地址https://github.com/Avik-Jain/100-Days-Of-ML-Code 之前的机器学习100天有很多库或者函数已经不用了，还有刚入门机器学习可能很多函数或者设置搞不明白， 所以，从python基础无缝到机器学习的教程来了。博主亲自操作一遍过的记录，绝对细致。如果学不会可以评论区讨论，如果我懂，我会回复的。 今天是机器学习第一天——.
机器学习基础100天---day04 逻辑回归
向阳争渡
09-17 252
该数据集包含了社交网络中用户的信息。这些信息涉及用户ID,性别,年龄以及预估薪资。一家汽车公司刚刚推出了他们新型的豪华SUV，我们尝试预测哪些用户会购买这种全新SUV。并且在最后一列用来表示用户是否购买。我们将建立一种模型来预测用户是否购买这种SUV，该模型基于两个变量，分别是年龄和预计薪资。因此我们的特征矩阵将是这两列。我们尝试寻找用户年龄与预估薪资之间的某种相关性，以及他是否购买SUV的决定。...
学习《机器学习100天》第8天 逻辑回归背后的数学
东篱下
01-21 226
逻辑回归背后的数学 | 第8天 github上的项目，跟着一起学习 Logistic回归的详细描述，原文在这里（打开需要能访问谷歌的环境） https://towardsdatascience.com/logistic-regression-detailed-overview-46c4da4303bc 翻译一下（公式推导的部分不太理解，先翻译个大概）： 逻辑回归模型示意图：  输入...
机器学习8/100天-Logistic回归原理与实现
zombee0的博客
01-01 187
Day 8 Logistic回归原理与实现 github: 100DaysOfMLCode 最大似然函数 L=∏i=0npyi(1−p)1−yiL = \prod_{i=0}^np^{y_i}(1-p)^{1-y_i}L=∏i=0n​pyi​(1−p)1−yi​ 取对数得 L=∑i=0nyilog(p)+(1−yi)log(1−p)L = \sum_{i=0}^ny_ilog(p)+(1-y_i)...
机器学习大作业-3d图+逻辑回归作业
最新发布
12-23
1、资源内容：机器学习大作业-3d图+逻辑回归作业 2、代码特点：内含运行结果，不会运行可私信，参数化编程、参数可方便更改、代码编程思路清晰、注释明细，都经过测试运行成功，功能ok的情况下才上传的。 3、适用...
机器学习算法基础-逻辑回归
09-16
逻辑回归是一种广泛应用于分类问题的统计学方法，尤其在机器学习领域中占据着重要的地位。它不仅简单易懂，而且计算效率高，适用于处理中等规模的数据集。本课程将深入探讨逻辑回归的基础知识，包括其原理、实现过程...
机器学习预测天气-逻辑回归-线性回归
07-05
在机器学习领域，预测天气是一项复杂且具有挑战性的任务，涉及到大量的数据分析和模式识别。本主题将探讨如何利用逻辑回归和线性回归这两种常见的预测模型来进行天气预报。 首先，我们来了解一下逻辑回归。逻辑回归...
机器学习-逻辑回归分析（Python）
02-24
回归和分类方法是机器学习中经常用到的方法区分回归问题和分类问题：回归问题：输入变量和输出变量均为连续变量的问题；分类问题：输出变量为有限个离散变量的问题。因此分类及回归分别为研究这两类问题的方法。区别...
机器学习100天-4-逻辑回归
ifeng
03-12 105
逻辑回归原理 解决分类问题 逻辑回归既可以看做是一个回归算法,也可以看做是分类算法 通常作为分类算法使用,只可以解决二分问题
火爆GitHub：100天搞定机器学习编程（超赞信息图+代码+数据集）
09-10
这个100天搞定机器学习编程的项目，现在已经是爆红GitHub，很快累积了3000多标星，在Twitter上，也有一大票人热捧这个项目。 同是百天计划，这个有什么特别之处？三点： 1、超赞的学习图片 2、配套的代码 3、相应的数据集 对这个项目的评价，多以awesome、great、fantastic、outstanding、perfect等评价，大家纷纷表示感谢（并祝楼主好人一生平安）。 项目地址在此： https://github.com/Avik-Jain/100-Days-Of-ML-Code 请你一定收藏好。 目前作者的100天计划，已经进行到第25天，已有的内容包括： 数据预处理、线性回归、逻辑回归、K最邻近算法、支持向量机、深度学习专项课程等，最新的内容已经讲到决策树及实现等。
《机器学习实战》逻辑回归算法简单Python实现
slience_646898的博客
10-11 1006
Logistic回归 假设有一些数据点，对这些数据点用一条直线进行拟合，这个拟合的过程称为回归。 使用逻辑回归进行二分类的思想是：根据现有的数据对分类边界线建立回归公式依此进行分类！ 原理公式——求最佳的特征参数θ 分类可知真实值只有两个取值0和1，那么需要将计算得到的函数值转换为在0—1之间的数值，于是用了Sigmoid函数： g(z)=1/(1+e^-z) 将参数换成一个线性回归公...
Coursera机器学习-第三周-逻辑回归Logistic Regression
BD的笔记
05-10 4355
Classification and Representation 1. Classification Linear Regression （线性回归）考虑的是连续值（[0,1]之间的数）的问题，而Logistic Regression（逻辑回归）考虑的是离散值（例如只能取0或1而不能取0到1之间的数）的问题。举个例子，你需要根据以往季度的电力数据，预测下一季度的电力数据，这个时候需要使用的是线
100天搞定机器学习（100-Days-Of-ML）（四）逻辑回归
徐先森的博客
12-09 1152
第四天：逻辑回归 逻辑回归被用来处理不同的分类问题，看名字是回归模型实际上是分类模型，这里的目的是预测当前被观察的对象属于什么类别。逻辑回归模型会提供一个离散的输出结果。一个简单的例子是判断一封邮件是否是垃圾邮件。 第一步：处理数据集 数据集：该数据集包含了社交网络中的用户的信息，如用户id，性别，年龄，薪水。现在有一个汽车公司发布一款新的比较奢侈的SUV车，我们的任务就是根据这些信息预...
吴恩达机器学习课后习题（逻辑回归）
qq_42333474的博客
07-26 1074
一、逻辑回归 逻辑回归主要用于分类问题，有正负值用0与1表示，根据数据集计算出参数向量，并画出决策边界，计算预测值准确率，并用可以对新数据集进行预测。 二、实现逻辑回归 导入数据包，实现逻辑回归时，可以使用梯度下降算法，也可以直接使用高级优化算法（共轭梯度法），更加简便。使用高级优化算法可以自动选择学习率。 import numpy as np import pandas as pd import matplotlib.pyplot as plt import scipy.optimize as opt #
机器学习100天-逻辑回归 [ 混淆矩阵， np.meshgrid()，np.ravel() ]
STILLxjy
01-16 3009
相关知识点： 1 混淆矩阵 confusion_matrix : 混淆矩阵类似于 混淆矩阵也称误差矩阵，是表示精度评价的一种标准格式，用n行n列的矩阵形式来表示。混淆矩阵的每一列代表了预测类别 ，每一列的总数表示预测为该类别的数据的数目；每一行代表了数据的真实归属类别，每一行的数据总数表示该类别的数据实例的数目。 如有150个样本数据，预测为1,2,3类各为50个。分类结束后得到的混淆矩阵为： ...
Day6--Logistic Regression代码
abc_138的博客
11-01 629
数据集 | 社交网络 该数据集包含了社交网络中用户的信息。这些信息涉及用户ID,性别,年龄以及预估薪资。一家汽车公司刚刚推出了他们新型的豪华SUV，我们尝试预测哪些用户会购买这种全新SUV。并且在最后一列用来表示用户是否购买。我们将建立一种模型来预测用户是否购买这种SUV，该模型基于两个变量，分别是年龄和预计薪资。因此我们的特征矩阵将是这两列。我们尝试寻找用户年龄与预估薪资之间的某种相关性，...
机器学习案例——梯度下降与逻辑回归简单实例
Guanngxu的博客
05-29 3170
梯度下降实例     下图是f(x) = x2+3x+4 的函数图像，这是初中的一元二次函数，它的导数为g(x) = f’(x) = 2x+3。我们很明确的知道，当x = -1.5时，函数取得最小值。     下面就通过梯度下降法来计算函数取最小值时x的取值。 # @Desc : 梯度下降计算函数的极小值 """ f(x) = x^2 + 3x + 4 f(x)的导数 g(x)...
机器学习 逻辑回归算法应用案例
qq_43171122的博客
09-12 5782
机器学习 逻辑回归算法应用案例 时间：2020.09.12 出处：https://www.kesci.com/home/project/5bfe39b3954d6e0010681cd1 注明：初学逻辑回归，跟着博客大佬文章过了一遍，自己留个记录以便之后翻阅，也供大家学习。。 1、数据 本次数据为Kaggle著名的公开数据集坦泰尼克号之灾。 数据源地址：https://www.kaggle.com/c/titanic 如果你是第一次进入kaggle，你需要注册一个账号才能下载数据集，进入该链接之后请按下图找数
机器学习 --- 逻辑回归
09-27
逻辑回归是机器学习中的一种分类模型，它是一种简单且高效的分类算法。尽管名字中带有回归，但逻辑回归与回归之间只存在一定联系。逻辑回归通过计算属于某个类别的概率值来进行分类，其中一个类别默认标记为1（正例...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

oifengo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值