回归分析之最小平方法（符号记忆公式）

已于 2022-06-17 11:33:51 修改
阅读量2.9k 收藏
点赞数
分类专栏： 数学 文章标签： 回归 算法 机器学习
于 2021-03-13 00:39:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_23114283/article/details/114715087
版权

回归分析中，我们希望残差平方和\large \sum_{i=1}^{n}(y_{i}-a-bx_{i})^{2}最小。

有两种方法可以求解a和b的值，一是机器学习中用到的梯度下降，二是列方程直接求解。下面我们直接列方程求解。

\large \frac{\partial }{\partial a}\sum_{i=1}^{n}(y_{i}-a-bx_{i})^{2}=0

\large \frac{\partial }{\partial b}\sum_{i=1}^{n}(y_{i}-a-bx_{i})^{2}=0

根据以上两个方程一定能解出a和b两个未知数。解出的a和b如下列：

\large b=\frac{\sum x_{i}y_{i}-(\sum x_{i}\sum y_{i})/n}{\sum x_{i}^{2}-(\sum x_{i})^{2}/n}

\large a = \bar{y}-b\bar{x}

为了方便记忆和计算，a和b可记成如下一系列公式：

\large \bar{x}=\frac{\sum x_{i}}{n}, \bar{y}=\frac{\sum y_{i}}{n}

\large S_{xx}=\sum (x_{i}-\bar{x})^{2}=\sum x_{i}^{2}-\frac{(\sum x_{i})^{2}}{n}

\large S_{yy}=\sum (y_{i}-\bar{y})^{2}=\sum y_{i}^{2}-\frac{(\sum y_{i})^{2}}{n}

\large S_{xy}=\sum (x_{i}-\bar{x})(y_{i}-\bar{y})=\sum x_{i}y_{i}-\frac{(\sum x_{i})(\sum y_{i})}{n}

\large b=\frac{S_{xy}}{S_{xx}}, a = \bar{y}-b\bar{x}

对于更多变量，也可以列对应多个偏微分方程求解（可以利用sympy库帮忙求解）。

视频链接：统计学 第23章 迴歸(一)_哔哩哔哩_bilibili 

乡村农夫
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
用Excel做数据分析之回归分析方法.pdf
11-15
用Excel做数据分析之回归分析方法.pdf
最小二乘法（最小平方法）(generalized least squares)
菩提本无树 明镜亦非台 本来无一物 何处惹尘埃
09-25 5606
许多工程问题，常常需要根据两个变量的几组实验数值：实验数据，来找出这个两个变量的函数关系的近似表达式。通常把这样得到的函数的近似表达式叫做经验公式。经验公式建立以后，就可以把生产或实验中所积累的某些经验，提高到理论上加以分析。下面我们通过举例介绍常用的一种建立经验公式的方法。         例1：为了测定道具的磨损速度，我们做这样的实验：经过一定时间（如每隔一小时），测量一次刀具的厚度，得到一
机器学习的最小平方法
DXB2021的博客
10-03 1554
机器学习的最小平方法
机器学习最基础算法之最小二乘法（最小平方法）
alex
11-19 7769
最小二乘法（Least Squares Method, 简称LSE,又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。 “最小二乘法”是对过度确定系统，即其中存在比未知数更
最小二乘法（最小平方法）
Areation的博客
06-23 5333
最小二乘法又称最小平方法。英文名：Least Squares.是一种数学优化方法，通过最小误差的平方来减少误差。 MLS(移动最小二乘法，moving least squares)
最小二乘法的理解(最小平方法)
wj1298250240的博客
01-16 1227
原来算术平均数可以让误差最小
论文研究 - 符号间隔数据的线性回归分析
05-24
在网络技术时代，收集的数据越来越复杂，... 我们提出了两种方法来估计两个不同数据模型下符号间隔数据的回归参数，并通过仿真将我们提出的方法与现有方法进行比较。 最后，我们使用提出的方法分析了两个真实的数据集。
基于回归分析的记忆广度试验研究
06-03
对数据的回归分析进行可行性验证,表明在统计学上有意义。建立短时呈现时间与数字、字母记忆广度的线性方程,结合SPSS作图分析发现数字记忆广度高于字母记忆广度,具有个体差异。但记忆广度的性别差异不明显。研究对...
多元回归-最小二乘法-残差分析
01-06
多元回归-最小二乘法-残差分析笔记 一.多元线性回归模型的假设 我们需要进行以下六个假设，这些假设是经典的多元线性回归模型有效的前提： 1、因变量Y和自变量X1，X2，…，Xk之间的关系是线性的。 2、自变量（X1，X2...
偏最小二乘回归分析 Matlab代码与数据.zip
07-09
偏最小二乘回归分析 Matlab代码与数据，教程
偏最小二乘回归模型内涵分析方法研究
03-27
偏最小二乘回归是一种新型的多元分析方法，回归建模提高模型的精度和可靠性
偏最小二乘回归分析.docx
05-29
介绍数学建模中偏最小二乘的应用，介绍偏最小二乘原理及项目案例代码。
最小二乘法 matlab 线性回归分析
10-28
利用最小二乘法做线性回归，计算残差。
回归分析预报方法_回归分析_
09-30
本文件提供处理信号的常用算法，回归预报分析方法，对于信号的处理和预报具有很好的处理效果
红筹回归之VIE架构税务分析.pdf
07-16
红筹回归之VIE架构税务分析
最小二乘法
yang6464158的专栏
04-25 8356
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。 利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。 最小二乘法还可用于曲线拟合。 其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。 目录   [隐藏]  1 示例2 简介3 方法4 线性函数模型
Diabetes数据集线性回归：最小平方回归
名为不二的兔子的博客
04-03 4207
#加载Diabetes（糖尿病）数据集 from sklearn import datasets diabetes=datasets.load_diabetes() #数据前十列数值为生理数据，分别表示 #年龄，性别，体质指数，血压，S1,S2,S3,S4,S5,S6(六种血清的化验数据) diabetes.data[0] array([ 0.03807591, 0.05068012, ...
最小表示法总结+例题
weixin_43819578的博客
09-20 564
给一个字符串，如果这个字符串是环状的，它的字典序最小的表示方法是什么。 O(n)算法 与kmp相似，都是相同的不再比较。 i和j为两个不同的起点引领的长度为k的字符串 int n=strlen(s+1); for(int i=1;i<=n;i++) { s[n+i]=s[i]; } int i=1,j=2,k; while(i<=n&&j<=n) { ...
在已有公式上进行符号回归训练
最新发布
04-05
符号回归是一种基于机器学习的方法，用于从输入的数据中发现数学表达式。在已有公式上进行符号回归训练，可以用于改进和优化现有的数学模型。 符号回归的训练过程包括收集和整理数据，选择和设计合适的特征，选择合适的模型结构，并通过优化算法来训练模型并进行预测。 例如，假设已经有以下公式： y = a^2 + b^2 可以使用符号回归训练来找到更好的公式来预测y。训练过程中，需要收集大量的数据，并将其输入到模型中进行训练。模型可以使用多项式回归、决策树回归或神经网络等方法来进行符号回归。 训练完成后，可以使用新的公式来进行预测，从而找到更准确的结果。符号回归训练可以用于改进和优化各种数学模型，包括线性回归、逻辑回归和支持向量机等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值