算法面试必备-----逻辑回归

最新推荐文章于 2022-02-21 21:16:07 发布
最新推荐文章于 2022-02-21 21:16:07 发布
阅读量577 收藏
点赞数 3
分类专栏： 算法岗面试笔试准备
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Avery123123/article/details/106607841
版权

算法面试必备-----逻辑回归

算法面试必备-----逻辑回归

对数几率回归（逻辑回归）

问题描述

使用回归模型来完成分类任务

只需要找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来

二分类任务

单位阶跃函数（unit-step function）

在这里插入图片描述

对数几率函数（logistics function）—Sigmoid函数

在这里插入图片描述

图像

在这里插入图片描述

带入Sigmoid函数推导一下

在这里插入图片描述

本质

用线性回归模型的结果去逼近真是你标记的对数几率

这里的几率是X取1的相对可能性

我们关注的是X与ln(y/1-y)的关系，而不是X与y的关系

优点

在这里插入图片描述

推导与求解

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

公式推导
极大似然估计法

什么是极大似然估计法
在这里插入图片描述
在这里插入图片描述

用最大似然估计法来求解

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

问题：逻辑回归相比于线性回归，有何异同？

分析与解答
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

多分类学习

基本思路

将多分类分解成多个二分类

经典拆分策略

“一对一”（One VS One，简称OvO）
“一对其余”（One VS Rest，简称OvR）
“多对多”（Many VS Many，简称MvM）

类别不平衡问题

不同类别样例数的影响

在这里插入图片描述

类别不平衡class-imbalance

在这里插入图片描述

处理方法（再缩放rescaling）

当正反可能性相同

在这里插入图片描述

假设训练集是样本总体的无偏采样

在这里插入图片描述
在这里插入图片描述

无法基于训练集类别的数量推断真实几率

现有技术的三类做法

“欠采样”（undersampling）

直接对训练集中的反类样例进行，即去除一些反样例使得正，反类样例数目接近，再进行学习，这样可能会丢失一些重要的信息

EasyEnsemble算法

将反例划分为若干个集合供不同的学习器使用每个学习器都进行了欠采样

这样全局来看不会丢失重要信息

“过采样”（oversampling）

对训练集中的正类样例进行，即增加一些正例使得正、反例数目接近，然后再进行学习

“阈值移动” threshold-moving

直接基于原始训练集进行学习
在这里插入图片描述

问题：当使用逻辑回归处理多标签的分类问题时，有哪些常见做法，分别应用于哪些场景，它们之间有怎样的关系？

分析与解答
使用哪一种办法来处理多分类的问题取决于具体问题的定义 。

如果一个样本只对应于一个标签，我们可以假设每个样本属于不同标签 的概率服从于几何分布，使用多项式逻辑回归( Softmax Regression ) 来进行分类
在这里插入图片描述
当存在样本可能居于多个标签的情况时，我们可以训练 k个二分类的逻辑回归分类器 。第 i 个分类器用以区分每个样本是否可以归为第 i 类，训练该分类器时，需要把标签重新整理为“第 i 类标签 ” 与”非第 i 类标签“两类遇过这样的刃、j去 3 我们就解决了每个样本可能拥有多个标签的情况 。

Avery123123
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【逻辑回归】常见面试题
qq_44910978的博客
06-13 501
逻辑回归是一个二分类算法，假设特征和结果存在线性映射关系，存在一个目标函数使得输入一个样本后得到对应的概率，再通过sigmoid函数根据设定的阈值分成两类。可以简单认为是线性回归+sigmoid函数。基本假设：输出的类别服从伯努利二项分布。正则化：在损失函数后加上惩罚项，对某些参数作一些限制 参考：L1正则化方法（lasso）和L2（ridge）正则化方法的区别_wangyanao520的博客-CSDN博客_对于线性回归模型l2正则化方法是指https://blog.csdn.net/a135
机器学习算法基础-逻辑回归
09-16
机器学习算法基础-逻辑回归
逻辑回归的常见面试点总结
weixin_30257433的博客
10-27 1142
1.简介 逻辑回归是面试当中非常喜欢问到的一个机器学习算法，因为表面上看逻辑回归形式上很简单，很好掌握，但是一问起来就容易懵逼。所以在面试的时候给大家的第一个建议不要说自己精通逻辑回归，非常容易被问倒，从而减分。下面总结了一些平常我在作为面试官面试别人和被别人面试的时候，经常遇到的一些问题。 2.正式介绍 如何凸显你是一个对逻辑回归已经非常了解的人呢。那就是用一句话概括...
关于逻辑回归，面试官都怎么问
Kaiyuan_sjtu的博客
12-06 1212
作者|Chilia整理|NewBeeNLP最近准备开始如同考研一般的秋招复习了！感觉要复习的东西真的是浩如烟海;) 有2023届做算法的同学可以加入我们一起复习~关于BE...
二、逻辑回归LR面试题总结
Anthony_hit的博客
02-21 1246
逻辑回归RL面经，常见的面试题总结
机器学习——逻辑回归常见面试题整理
XB_please的博客
11-22 1898
逻辑回归 1.介绍 逻辑回归假设数据服从伯努利分布，通过极大化似然函数的方法，运用梯队下降来求解参数，来达到将数据二分类的目的。 2.逻辑回归的损失函数和梯度下降参数迭代方法 逻辑回归的损失函数是它的极大似然函数 参数迭代方法 3.逻辑回归为什么使用对数损失而不用平方损失 损失函数一般有四种，平方损失函数，对数损失函数，HingeLoss0-1损失函数，绝对值损失函数。 将极大似然函数取对数以后等同于对数损失函数。在逻辑回归这个模型下，对数损失函数的训练求解参数的速度是比较快的。至于原因大家可
2-回归算法.7z2-回归算法.7z
07-03
2-回归算法.7z
面试-预备-DS-算法
02-05
面试-预备-DS-算法 基本原理 指针和功能 数组 数组2.0（2D数组，字符串） 弦乐 排序和搜索（分而治之） 位屏蔽技术 数论 递归和回溯 链表 堆栈和队列 双头队列和滑动窗口 二叉树和二叉搜索树 堆 散列 图算法 动态...
GWO-GPR灰狼算法优化高斯过程回归多变量回归预测
最新发布
04-19
Matlab实现GWO-GPR灰狼算法优化高斯过程回归多变量回归预测 1.Matlab实现GWO-GPR灰狼算法优化高斯过程回归多变量回归预测（完整源码和数据) 2.输入多个特征，输出单个变量，多输入单输出回归预测； 3.多指标评价，...
大数据-算法-淮南子逻辑思想探赜.pdf
04-16
大数据-算法
机器学习面试 逻辑斯特回归整理
09-25
自己在2018秋招期间从牛客网、知乎、百度谷歌等网页整理的关于机器学习、深度学习、计算机基础等等的面试精华问题与解答，部分有因为时间而未解决的问题，大部分问题都给出了答案和参考。
机器学习面试必知：简单易懂的逻辑回归
Neekity的博客
02-22 945
##LR推导 ## LR 假设有数据集{(x1,t1),...,(xn,tn)}\left \{ (x_{1},t_{1}),...,(x_{n},t_{n}) \right \}{(x1​,t1​),...,(xn​,tn​)} Φn=Φ(xn)\Phi _{n}=\Phi \left ( x_{n}\right )Φn​=Φ(xn​) 其中Φ\PhiΦ是基函数 y(Φ)=σ(wTΦ)y\le...
机器学习面试笔记整理2-逻辑回归
国民本色的博客
03-30 487
机器学习面试笔记整理2-逻辑回归算法思想优缺点应用面试问题收集 算法思想 假设数据服从伯努利分布，在训练数据集中基于对数似然函数，利用梯度下降，找出最佳拟合曲线（最佳分类线θTxθ^TxθTx），通过sigmoid输出的概率值将现有样本进行分类。 优缺点 优点： 1.简单高效，计算量小 2.以概率形式输出，也因此可做ranking model 3.可解释性强，可控度高（因每个特征的theta权重都...
逻辑回归原理 面试 Logistic Regression
weixin_30781107的博客
03-26 253
逻辑回归是假设数据服从独立且服从伯努利分布，多用于二分类场景，应用极大似然估计构造损失函数，并使用梯度下降法对参数进行估计。 转载于:https://www.cnblogs.com/cupleo/p/10599501.html...
数据挖掘面试题之逻辑回归lr
a1272899331的博客
07-19 2147
逻辑回归面试题 1.逻辑斯蒂回归推导 逻辑回归假设数据服从伯努利分布,通过极大化似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的。 2.简述一下线性回归 3.为什么逻辑斯特回归中使用最大似然函数求得的参数是最优可能的参数值？ 4.逻辑回归是线性模型吗？ 5.逻辑回归做分类的样本应该满足什么分布？ 6.逻辑回归输出的值是0到1之间的值，这个值是真实的概率吗？ 7.逻辑...
机器学习【算法岗面试总结1】----逻辑回归
DM_LJY的博客
03-07 408
1 逻辑回归和线性回归的区别 线性回归方程为 z=f(x)=θ∗xz = f{(x)} = \theta*xz=f(x)=θ∗x，其中x为输入特征，θ\thetaθ为模型参数；损失函数记为L(θ)=∣∣y−f(x)∣∣22L(\theta)=||y-f(x)||_2^2L(θ)=∣∣y−f(x)∣∣22​，通过梯度下降法求出最优的θ\thetaθ值。 逻辑回归（此处只针对二分类问题）是处理分类...
机器学习面试之逻辑回归
weixin_41761357的博客
12-23 254
1.简单介绍一下逻辑回归 逻辑回归解决分类问题而不是回归问题（回归问题用于预测），之所以名字中带一个回归是因为决策边界那个假定的是一个满足线性回归的方程，所以取名为逻辑回归。再说回逻辑回归，通过引入一个满足线性回归的决策边界，将其代入非线性变换的sigmoid函数中，将结果映射到【0，1】之间，通过设置阈值进行分类，比如大于0.5的是正样本，小于0.5的就是负样本 2.sigmoid函数 结果在[0,1]之间。 3.LR的假设函数 4.LR的损失函数 建立在极大似然估计的背景下。极大似然.
Tarjan及2-SAT讲课PPT
10-20
利用Tarjan算法求解强连通分量，我们可以判断逻辑公式是否有解。 在信息学竞赛中，图论算法是一个非常重要的知识点。而Tarjan算法作为图论中的关键算法，具有广泛的应用。掌握Tarjan算法的思想和应用，可以帮助竞赛...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值