回归公式推导

最新推荐文章于 2023-06-05 09:10:04 发布
最新推荐文章于 2023-06-05 09:10:04 发布
阅读量1.6k 收藏
点赞数
分类专栏： 回归算法 文章标签： 回归公式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26174823/article/details/87884342
版权
本文详细介绍了逻辑回归的概念，强调其作为分类方法的作用，特别是处理二分类问题。通过极大似然估计解释了最小二乘法，并探讨了过拟合的处理方法，包括增加数据量、正则化等。此外，还对比了线性回归和逻辑回归的差异，以及L1和L2正则化的应用和作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

上面写的字迹有点乱，重新公式梳理：
逻辑回归（Logistic Regression）是用于处理因变量为分类变量的回归问题，常见的是二分类或二项分布问题，也可以处理多分类问题，它实际上是属于一种分类方法。损失函数，就是衡量真实值和预测值之间差距的函数。所以，我们希望这个函数越小越好。在这里，最小损失是0。

最小二乘意义下的矩阵的逆求参数最优解

最低0.47元/天 解锁文章
回归算法
nextbox
04-17 1603
比较常见的回归算法：线性回归，多项式回归，岭回归，lasso，弹性网络等 回归算法常用的评估标准： R2R2R^2它反映了因变量的变异能通过回归关系被自变量解释的比例。值为1的时候，表示观测点全部落到回归拟合线上 计算公式 R2R2R^2 = 回归平方和/总平方和 回归平方和 = 总平方和 - 残差平方和 ...
多元逻辑回归公式推导
Y神搞学习的博客
01-17 7869
《统计学习方法》中关于多元逻辑回归公式推导，写的比较简单，正好前几天有同事对此比较疑惑，因此，在此进行详细推导，有助于大家共同学习。 首先，关于逻辑回归中二分类问题: P(Y=1∣x)=exp(ω⋅x+b)1+exp(ω⋅x+b)P(Y=1|x)=\frac{exp(\omega \cdot x+b)}{1+exp(\omega \cdot x+b)}P(Y=1∣x)=1+exp(ω⋅x+b)ex...
回归算法理论推导
huahuaxiaoshao的博客
12-20 381
回归算法理论推导 一、线性回归 1.定义：线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。 2.例子 （1）说明 数据：工资和年...
均值回归
weixin_43069769的博客
03-21 4037
均值回归是及其简单的，简单到让人惊讶。均值回归也是及其根本的，根本到整个统计方法的大厦都离不开这个简单到最基础的先验原理。 本函数，主要用于经济行为的分析，对经济行为的周期性，具有较好的描述，可以为趋势的预判提供方向性的权重拓展空间 import random import numpy as np import matplotlib.pyplot as plt import datetime fr...
R平方回归平方推导
weixin_30770783的博客
10-17 996
转载于:https://www.cnblogs.com/Kermit-Li/p/5969669.html
线性回归及推导
R18830287035的博客
03-09 539
注：为使似然函数越大，则需要最小二乘法函数越小越好 线性回归中为什么选用平方和作为误差函数？假设模型结果与测量值 误差满足，均值为0的高斯分布，即正态分布。这个假设是靠谱的，符合一般客观统计规律。若使 模型与测量数据最接近，那么其概率积就最大。概率积，就是概率密度函数的连续积，这样，就形成了一个最大似然函数估计。对最大似然函数估计进行推导，就得出了推导后结果： 平方和最小公式 注...
一元线性回归公式推导与代码实现.pdf
10-10
为了深入理解一元线性回归，下面将详细探讨其公式推导、模型评估以及代码实现等知识点。 首先，一元线性回归模型的基本形式可以用下面的线性方程来表示： \[y = wx + b\] 其中，\(y\) 是因变量，\(x\) 是自变量，\...
机器学习基础——线性回归公式推导（附完整代码）
TechFlow的博客
02-05 2446
在之前的文章当中，我们介绍过了简单的朴素贝叶斯分类模型，介绍过最小二乘法，所以这期文章我们顺水推舟，来讲讲线性回归模型。 线性回归的本质其实是一种统计学当中的回归分析方法，考察的是自变量和因变量之间的线性关联。后来也许是建模的过程和模型训练的方式和机器学习的理念比较接近，所以近年来，这个模型被归入到了机器学习的领域当中。然而，不管它属于哪个领域，整个模型的思想并没有发生变化。我们只要有所了解即可...
回归平方和怎么计算_计量经济学复习笔记（三）：如何使用回归结果
weixin_39805364的博客
01-14 7261
计量经济学复习笔记（三）：如何使用回归结果根据我们之前的讨论，任意给定一组 的观测值，都可以计算回归。但是否回归都是有效的？直观说来，我们会将回归方程直接绘制在图像上，看样本点围绕回归方程的偏差程度大不大。但是绘图、看图说话总要动脑，直接给一个指标告诉大家好还是不好就能省掉许多的工作，这篇文章首先来探究这样的指标，再讨论回归方程的使用。1、拟合优度与可决系数如果一个回归方程的效果很好，残差就应该...
关于回归所用的数学公式推导-矩阵形式
weixin_52901292的博客
12-30 1547
文章目录 目录 一、最小二乘法： 二、岭回归法 三、Lasso回归法 总结 前言 先声明一下，以下的推导只是有助于理解，并不严谨！ 一、最小二乘法： 我们都知道最小二乘需要满足一个概念，就是使得所得到的函数残差平方和最小，即： 转化成矩阵形式就是这个值等于： 那如果要求最小值，自然就是对B这个希腊字母求偏导，然后令等于0的时候即： 而右边那个为啥没继续求偏导呢？ 是因为其求偏导不能直接链式法则！，而是要按照下面的方法 只不过在这里和链式法则一样，所...
线性回归的公式
热门推荐
影子
05-09 4万+
线性回归方程： 线性回归的一般式：f（x）=b*x + a; 第一步： 1）由所给出的系列值分别计算两个变量的平均值 x平均=(Σxi)/n y平均=（Σyi)/n 【Σ是把相应的值加起来,n是数据组数】 解释：分别求出来x和y的平均值 第二步： 2）计算一系列的差值（即△） △xi=xi-x平均 【应该有n个△x】；△yi=yi-y平均 【也应该有n个】 解释：每一个x减去...
线性回归---公式推导
nl的博客
12-13 1046
梯度下降公式推导：
二元线性回归最小二乘法公式推导
推荐系统-机器学习-数据挖掘的专栏
02-28 1万+
手动推导用最小二乘法进行线性回归，求参数
回归平方和怎么计算_[机器学习] 最实用的算法：回归
weixin_32466167的博客
01-30 7942
朴素贝叶斯，决策树，支持向量机等都是属于离散型的监督分类，本文要讲的是连续型监督分类：回归（regression）其实回归太常见不过了，我们学过的一元一次方程，x作为自变量，y作为因变量，就是一个连续型的回归，例如下图的年龄和收入的关系连续还是离散连续和离散这个概念也是非常简单的，离散变量指变量值可以按一定顺序一一列举，通常以整数位取值的变量。而连续则不可以，下面有个简单的图表可以让你更直观了解这...
平方和公式
dazhilao
12-13 3340
平方和公式n(n+1)(2n+1)/6 即1^2+2^2+3^2+…+n^2=n(n+1)(2n+1)/6 (注：N^2=N的平方) 平方和公式 - 证明 证明1＋4＋9＋…＋n^2＝N(N+1)(2N+1)/6 1、N＝1时，1＝1（1＋1）（2×1＋1）/6＝1 2、N＝2时，1＋4＝2（2＋1）（2×2＋1）/6＝5 3、设N＝x时，公式成立，即1＋4...
如何证明平方和公式？
Simple life
03-30 2771
     证明如下：            已知(n+1)­3 = n3+3n2+3n+1      则与如下一系列等式成立：      (n+1)3-n3=3(n2+n)+1      n3-(n-1)3=3((n-1)2+(n-1))+1      …………      23-13=3(12+1)+1      等式两边相加：      (n+1)3-1 = 3[n2+…+12]+3*n(n+1)/2+n      故，12+22+32+……+n2是为n(n+1
多项式回归、R2 和 RMSE
March_A的博客
06-05 2万+
R2（决定系数）和RMSE（均方根误差）是常用的回归模型评估指标，用于衡量模型对观测数据的拟合程度和预测精度。R2（决定系数）： R2 表示模型对因变量的解释能力，取值范围从 0 到 1，越接近 1 表示模型对数据的拟合程度越好。计算公式为： R2 = 1 - (SSR / SST) 其中，SSR 是回归平方和（Sum of Squares of Residuals），表示回归模型的拟合误差；SST 是总平方和（Total Sum of Squares），表示总体数据的离散程度。
统计学学习（4） 线性回归，卡方分布，方差分析
stars
05-17 6706
线性回归 1. 什么是回归分析 回归分析（regression analysis）指的是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。回归分析按照涉及的变量的多少，分为一元回归和多元回归分析；按照因变量的多少，可分为简单回归分析和多重回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。 2. 一元线性回归 回归分析只涉及到两个变量的，称一元回归分析。一元...
lasso回归公式推导
最新发布
03-18
### Lasso 回归公式的数学推导 Lasso（Least Absolute Shrinkage and Selection Operator）是一种线性回归模型，其目标函数通过加入正则化项来减少过拟合并实现特征选择。以下是关于 Lasso 回归公式及其数学推导的详细介绍。 #### 定义与目标函数 Lasso 的核心在于最小化一个带惩罚项的目标函数。对于给定的数据集 \(X\) 和响应变量 \(y\)，Lasso 的优化问题是： \[ \min_{\beta} \frac{1}{2n} \| y - X\beta \|^2_2 + \lambda \|\beta\|_1, \] 其中： - \(y\) 是观测值向量， - \(X\) 是输入矩阵， - \(\beta\) 是待估计的系数向量， - \(\lambda > 0\) 是控制正则化的超参数， - \(\|\beta\|_1 = \sum_{j=1}^{p} |\beta_j|\) 表示绝对值之和（即 L1 范数）。[^3] 此目标函数由两部分组成：残差平方和以及 L1 正则化项。前者衡量预测误差，后者用于约束模型复杂度。 --- #### 数学推导过程 ##### 1. 原始损失函数 原始的线性回归损失函数定义如下： \[ J(\beta) = \frac{1}{2n}\|y - X\beta\|^2_2. \] 展开该表达式可得： \[ J(\beta) = \frac{1}{2n}(y - X\beta)^T(y - X\beta). \] 进一步计算得到： \[ J(\beta) = \frac{1}{2n}[y^Ty - 2y^TX\beta + \beta^TX^TX\beta]. \] 这是标准的均方误差形式。 --- ##### 2. 添加 L1 正则化 为了引入稀疏性，在上述基础上增加 L1 正则化项，形成新的目标函数： \[ J'(\beta) = J(\beta) + \lambda \|\beta\|_1. \] 因此完整的 Lasso 目标函数变为： \[ J'(\beta) = \frac{1}{2n}[y^Ty - 2y^TX\beta + \beta^TX^TX\beta] + \lambda \sum_{j=1}^{p} |\beta_j|. \] 注意这里的第二项涉及绝对值运算，这使得求解变得困难。 --- ##### 3. 使用坐标下降法求解 由于存在非平滑的 L1 正则化项，通常采用 **坐标下降法** 或其他数值方法进行优化。具体步骤如下： - 对于每一个维度 \(j\) 更新对应的系数 \(\beta_j\)； - 将其余维度固定不变。 更新规则可以表示为： \[ \beta_j := S(z_j, \lambda), \] 其中 \(S(x, \lambda)\) 是软阈值算子（Soft Thresholding Operator），定义为： \[ S(x, \lambda) = \begin{cases} x-\lambda & \text{if } x>\lambda \\ x+\lambda & \text{if } x<-\lambda \\ 0 & \text{otherwise}. \end{cases} \] 这一操作能够自动将某些不重要的特征系数设置为零，从而达到特征选择的效果。 --- ##### 4. 特殊情况下的闭式解 当数据满足特定条件时（如正交设计矩阵 \(X^TX=\mathbf{I}\)），可以通过解析方式获得 Lasso 解决方案。此时每维独立处理，最终结果简化为： \[ \hat{\beta}_j = S((X^Ty)_j / n, \lambda/n). \] 这种情况下无需迭代即可快速得出答案。 --- ### 总结 综上所述，Lasso 回归的核心思想是在传统最小二乘法的基础上加入了基于权重大小的比例罚金机制——即所谓的 L1 正则化。这种方法不仅有助于降低模型复杂程度，还能有效筛选重要变量。然而实际应用中往往依赖高效算法完成大规模问题中的精确估算工作 [^4]. ```python import numpy as np from sklearn.linear_model import Lasso # Example usage of Lasso in Python X = np.array([[1, 2], [3, 4]]) y = np.array([1, 2]) model = Lasso(alpha=0.1) model.fit(X, y) print(model.coef_) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值