线性回归损失函数求偏导(手推)

最新推荐文章于 2024-04-09 09:05:05 发布
最新推荐文章于 2024-04-09 09:05:05 发布
阅读量1.9k 收藏 3
点赞数
分类专栏： 统计学习方法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/comli_cn/article/details/105612081
版权

在这里插入图片描述至于为什么可以去掉书中也没说，我推测可以在求梯度之前对训练数据标准化，使其均值为0，这样的话 x i x_i xi​的均值就是0了，可以直接去掉，同时也会使得计算简便。

comli_cn
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
线性回归 基于TensorFlow2.0实现损失函数求解及求线性回归偏导（推导）
weixin_45399399的博客
09-17 596
一元线性回归方程(Simple linear regresson)：y=wx+b 模型变量：x, 模型参数： w:权重（weights） b:偏置值(bias) 对于任意样本xi的真实值为yi，预测值为y^ 则残差为y-y^=y-(wx+b) 为衡量模型的预测值与真实值之间的不一致程度，引入损失函数Loss。 模型训练过程为找到最佳的参数w,b使得损失函数最小。 作为损失函数，应满足如下两个条件 ·非负性 ·一致性 非负性为确保不会出现正负抵消情况，使得Loss值虽然很小，但拟合曲线误差较大的情况。 一致性
线性回归损失函数求偏导（推到过程）
orchidofocean的博客
01-07 5590
线性回归使用线性模型去拟合数据集，进行预测。线性回归的预测函数的一般形式为： 用（xi，yi）表示为第i个样本，xi，yi​分别为其特征和真实类别。 线性回归模型中，参数w的最优值为：参考 线性回归损失函数求偏导 ...
机器学习数学原理专题——回归模型：损失函数求导
最新发布
qq_58718853的博客
04-09 711
广义线性模型中回归模型损失函数矩阵求导中的数学原理整理笔记
线性回归损失函数求偏导公式推导
qq_39921539的博客
03-24 1191
【机器学习笔记】Logistics Regression中损失函数求偏导的具体步骤
qq_43872529的博客
09-12 1742
根据吴恩达老师机器学习课程中在 Logistics Regression 中定义的损失函数： J(θ)=−1m∑i=1m[y(i)log⁡(hθ(x(i)))+(1−y(i))log⁡(1−hθ(x(i)))] J(\theta)=-\frac{1}{m} \sum_{i=1}^{m}\left[y^{(i)} \log \left(h_{\theta}\left(x^{(i)}\right)\right)+\left(1-y^{(i)}\right) \log \left(1-h_{\theta}\le.
【吴恩达 机器学习】逻辑回归的损失函数偏导
一千零一夜的博客
06-06 4729
1) 逻辑回归（Logistic Regression, Logistic Function, Sigmoid Function）的损失函数为： J(θ)=−1m∑i=1m[y(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))]J(θ)=−1m∑i=1m[y(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))]J(\theta) =- \frac...
利用scipy.optimize 模块中minimize函数求解线性回归损失函数的最小值的数据
09-05
利用scipy.optimize 模块中minimize函数求解线性回归损失函数的最小值的数据
58_线性回归损失函数为什么要用平方形式1
08-03
在线性回归中，最常用的损失函数是平方损失函数，也就是均方误差（Mean Squared Error, MSE）。 平方损失函数的形式为： \[ L = \frac{1}{n} \sum_{i=1}^{n}(y_i - \hat{y}_i)^2 \] 其中，\( y_i \) 是第 i 个...
chapter.3 线性回归+函数functionpdf1
08-03
在R中，可以使用内置的`lm()`函数来实现最小二乘法线性回归。例如，对于波士顿房价数据集`Boston`，我们可以通过`lm(medv ~ lstat, data = Boston)`来拟合模型，其中`medv`是响应变量（房价中位数），`lstat`是预测...
C语言版的线性回归分析函数.pdf，这是一份不错的文件
05-17
C语言版的线性回归分析函数.pdf C语言版的线性回归分析函数是一个非常实用的文件，提供了线性回归分析的C语言实现代码。线性回归分析是一种常用的统计方法，用于研究变量之间的关系。该文件提供了一个简单的线性...
matlab线性回归函数
12-26
将matlab线性回归函数分开解释，便于分析统计指标，避免读取函数内部细节
【机器学习】使用 Gradient Descent Algorithm 的 Linear Regression（梯度下降；线性回归；损失函数；求偏导；均方误差）
追光者♂：记录、分享、总结、提升，现象级专栏《Python从入门到人工智能》作者，无惧黑暗，坚信曙光
10-04 709
使用梯度下降的线性回归，示例。
【python tensorflow 人工智能】一元线性回归（从理论到实践，含偏导数的详细推理，初学者都能看懂）
Brain_Gym的博客
02-06 905
某天正在考虑买房的你，拿到了一张**房屋销售记录**，为了防止被无良商家拐骗，你决定好好研究一下房屋面积与价格的关。 但是你发现这张数据似乎有些无序，大多数房子每平方米的价格都不一样！到底那个才是正确的呢？
线性回归学习笔记
weixin_42629020的博客
09-06 377
原始代码： import matplotlib.pyplot as plt import numpy as np #构建数据 points_num = 100 vectors = [] for i in range(points_num): x1 = np.random.normal(0.0,0.66) y1 = 0.1 * x1 + 0.8 + np.random.normal(0.0,0...
02.线性回归算法
WJiaJiaBest的博客
07-18 611
代价函数、梯度下降算法、线性回归模型
线性回归
爱吃糖的小熊的博客
07-12 251
线性回归 线性回归是最简单的一种回归方式 一元线性回归就是找出一条直线，是数据到直线之间的距离差最小。 举个例子 线性回归是要解决上面的问题，对于给定房子的面积如何来预测房子的价格。根据数据分布的特点，我们很自然的想到，如果能找到一条直线。这条直线在这些数据上表现好，那么它就能完成对于未知数据的预测。 损失函数 利用损失函数为评判标准找出直线。 函数形式为： 为直线上的数值 为了方便计算修改为： 解题思路 1.设出该直线 2.利用损失函数求出最小的 转化为求极值问题，利用梯度下降 对 求偏导
tensorflow学习笔记——损失函数
wxsy024680的博客
03-08 5589
1、均方误差损失函数 损失函数对权重的偏导与激活函数的梯度成正比。如果激活函数是线性的，可以使用这种损失函数，如果激活函数是S型函数，则不适合使用这种损失函数，原因如下： 假如我们期望的输出值为1，A处离1较远，激活函数梯度也较大，优化器调整步伐也较大；B处离1较近，激活函数梯度也较小，优化器调整步伐也较小，这是合理的。 假如我们期望的输出值为0，A处离0较远，激活函数梯度也较大，优化器调整步伐也较大；B处离0较远，激活函数梯度却较小，优化器调整步伐也较小，输出值需要很长时间才能调整到0，这是不合理的。
多元线性回归超详细详解(一步一步手推公式)
热门推荐
weixin_38232619的博客
06-06 1万+
上一篇我们详细的讲解了一元一次线性回归算法，今天我们为大家讲解多元线性回归是怎么一回事。 何为多元？当我们的输入x只有一维属性时，我们称之为一元。就像我们判断人胖瘦，只需了解体重这一个属性，我们就可以辨识。当x包含n个属性，由n个属性进行描述时，我们称之为多元。比如我们判断一个西瓜是好瓜还是坏瓜，我们需要了解的信息就多了，我们需要知道瓜的生产日期，瓜的颜色，瓜敲起来声响如何等等，综合上述多种属性才能判断瓜的成色。这就是多元。...
机器学习之线性回归手推
Hoshinory的博客
12-03 542
机器学习之线性回归手动推导过程
线性回归损失函数推导
11-10
线性回归的损失函数通常采用最小二乘法，即将所有样本的预测值与真实值之差的平方和最小化。假设有 $m$ 个样本，每个样本有 $n$ 个特征，$x^{(i)}$ 表示第 $i$ 个样本的特征向量，$y^{(i)}$ 表示第 $i$ 个样本的真实值，$w$ 表示模型的参数向量，$b$ 表示模型的截距，则线性回归的模型可以表示为： $$ \hat{y}^{(i)} = w^Tx^{(i)} + b $$ 其中 $\hat{y}^{(i)}$ 表示第 $i$ 个样本的预测值。对于所有的样本，我们可以定义损失函数 $J(w,b)$ 为： $$ J(w,b) = \frac{1}{2m}\sum_{i=1}^{m}(\hat{y}^{(i)} - y^{(i)})^2 $$ 其中 $\frac{1}{2}$ 是为了方便后续求导，$m$ 是样本数量。我们的目标是最小化损失函数 $J(w,b)$，即： $$ \min_{w,b} J(w,b) $$ 为了求解最小化问题，我们需要对 $J(w,b)$ 分别对 $w$ 和 $b$ 求偏导数，并令其为 $0$，得到 $w$ 和 $b$ 的最优解。具体地，对 $w$ 求偏导数有： $$ \begin{aligned} \frac{\partial J(w,b)}{\partial w} &= \frac{1}{m}\sum_{i=1}^{m}(\hat{y}^{(i)} - y^{(i)})x^{(i)} \\ &= \frac{1}{m}\sum_{i=1}^{m}(w^Tx^{(i)} + b - y^{(i)})x^{(i)} \end{aligned} $$ 对 $b$ 求偏导数有： $$ \begin{aligned} \frac{\partial J(w,b)}{\partial b} &= \frac{1}{m}\sum_{i=1}^{m}(\hat{y}^{(i)} - y^{(i)}) \\ &= \frac{1}{m}\sum_{i=1}^{m}(w^Tx^{(i)} + b - y^{(i)}) \end{aligned} $$ 令上述偏导数为 $0$，解得 $w$ 和 $b$ 的最优解为： $$ \begin{aligned} w &= (X^TX)^{-1}X^Ty \\ b &= \frac{1}{m}\sum_{i=1}^{m}(y^{(i)} - w^Tx^{(i)}) \end{aligned} $$ 其中 $X$ 是 $m \times n$ 的矩阵，每行表示一个样本的特征向量，$y$ 是 $m$ 维向量，表示所有样本的真实值。上述公式可以通过矩阵运算一次性求解，这就是线性回归的闭式解。如果样本数量很大，矩阵 $X^TX$ 可能不可逆，此时可以使用梯度下降等迭代算法求解。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

comli_cn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值