线性回归求解方法比较及数据归一化标准化的方法及作用

最新推荐文章于 2024-07-12 02:07:54 发布
最新推荐文章于 2024-07-12 02:07:54 发布
阅读量6.4k 收藏 15
点赞数
文章标签： 归一化 标准化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_36811967/article/details/84321430
版权

最小二乘法和梯度下降法

之前有讲过线性回归求解的两种方法：最小二乘法和梯度下降法，这两种方法各有优缺点。梯度下降法：当数据量很大时，计算速度相对而言就很快，但有一些超参数如学习率、迭代次数要自己调整，且特征值数量级不一致时需要进行归一化处理；最小二乘法则可以直接解出结果，但是运算量大，数据量大时会很慢。

数据的归一化和标准化

在这里插入图片描述
可以看到归一化是把所有的数据全部缩放到0-1之间，而样本的标准差是所有样本和样本均值的差的平方和再除以样本数后开方得到的，显然是小于样本最大最小差值的，甚至在极端情况下为0，所以标准化的输出范围是正无穷到负无穷。
在这里插入图片描述
归一化和标准化本质上都是一种线性变换。因为对于一个特定的样本来说，它的范围、最小值、均值和方差都是一定的，所以在做归一化或者标准化的时候可以看作一次缩放，再做一次评议。而且线性变换不改变原始数据的排序，即线性关系不变。

当数据较为集中时，样本的方差小，那么标准化之后就会更加分散；如果数据本身分布就很广，那么样本方差大，数据就会被集中到更小的范围里。所以，如果对输出范围有要求或这数据较稳定且不存在极端的最大最小值，那么用归一化；如果数据存在异常值和较多噪音，可以用标准化，间接通过中心化避免异常值和极端值的影响。

那为什么要做归一化了？
因为归一化后能够更快的收敛到最优解。因为如果不归一化，梯度走的方向很可能是一个之字形，而归一化后的路线更加平缓，会更容易收敛到最优解。而且对于一些模型，还有可能提高精度。
在这里插入图片描述

Reference：

http://www.cnblogs.com/linhxx/p/8412687.html
https://www.zhihu.com/question/20467170/answer/392949674
https://www.zhihu.com/question/20455227

ShawDa
关注
  • 0
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
归一化、标准化、正则化——作用&意义
蹩脚的人儿的博客
08-14 4729
1、归一化(Normalization)： 1.1 归一化概念与作用 １）概念： 将一列数据变化到某个固定区间(范围)中，通常，这个区间是[0, 1]，广义的讲，可以是各种区间，比如映射到[0，1]一样可以继续映射到其他范围，图像中可能会映射到[0,255]，其他情况可能映射到[-1,1]； 主要是为了数据处理方便...
数据归一化
行者无疆的博客
08-31 3708
一、数据归一化的作用   当数据集中不同特征项的范围相差较大时，必须要进行归一化处理，否则目标函数的图像会变“扁”，梯度下降时会走很多弯路。   比如，假设有两种数值型特征，x1的取值范围为[0，10]，x2的取值范围为[0，3]，可以得到归一化和未归一化的梯度下降的路径如下图： 因此归一化的好处有：   1.能够加快梯度下降求最优解的速度；   2.有可能提高精度。 二、归一化的方式 1.Min-Max归一化：将值映射到[0，1]范围。   x′=x−min⁡(x)max⁡(x)−min⁡(x)x'=\
Python 多元线性回归标准化
最新发布
weixin_33642448的博客
07-12 52
Python 多元线性回归标准化实现教程 概述 在进行多元线性回归分析时，往往需要对数据进行标准化处理，以确保模型的准确性和稳定性。本教程将向你展示如何使用Python实现多元线性回归标准化的过程。 流程图 #render_12_3135733756-svg{font-family:"trebuchet ms",verda...
八.用sklearn实现线性回归、标准化和归一化
weixin_36128607的博客
06-15 2036
八.用sklearn实现线性回归、标准化和归一化1.数据集简介2.使用sklearn的线性回归模型进行预测 1.数据集简介 波士顿房价数据集包含了506处波士顿不同地理位置的房产的房价数据（因变量），和与之对应的包含房屋以及房屋周围的详细信息（自变量），其中包含城镇犯罪率、一氧化氮浓度、住宅平均房间数、到中心区域的加权距离以及自住房平均房价等13个维度的数据，因此，波士顿房价数据集能够应用到回归问题上。 2.使用sklearn的线性回归模型进行预测 ...
线性回归之特征归一化、步长选择、特征组合
AI蜗牛之家
10-27 3948
针对ng上的线性回归课程，几个技巧性的方法，现整理如下： 在求解线性回归的模型时，有三个需要注意的问题一就是特征组合问题，比如房子的长和宽作为两个特征参与模型的构造，不如把其相乘得到面积然后作为一个特征来进行求解，这样在特征选择上就做了减少维度的工作。这个是多项式回归（Polynomial Regression）里面的一个重点问题。二就是特征归一化（Feature Scaling），这也是许多机器
线性回归详细推导（含归一化必要性讨论）
小白白的博客
10-27 9493
（作者：陈玓玏） 假设有一组数据X，包含m个样本，其中每一个样本有n个特征值，每一个样本还对应其label y_i，也就是说这组数据是一个m*n的矩阵，那么我们可以通过一组参数theta来实现对label的预测，这样当新来一个样本时，我们可以通过找到的这一组参数theata（实际是一个函数）来预测其y值。 那怎么评估我们的预测是否准确呢？ 先来科普一个三个概念：   损失函数（Loss Funct...
偏最小二乘回归分析_线性回归特征归一化
weixin_39732534的博客
11-27 601
今天碰见一句代码features = torch.tensor(np.random.normal(0, 1, (1000, 2)));其中 features是训练数据特征 np为numpy （import numpy as np）关于np.random.normal(0, 1, (1000, 2))np.random.normal()正态分布函数的原型np.random.nor...
多元线性回归学习（数据已归一化）
xiaozhanfeng的博客
07-23 1714
import tensorflow.compat.v1 as tf import pandas as pd import numpy as np import time import matplotlib.pyplot as plt from sklearn.utils import shuffle tf.disable_v2_behavior() ### 程序执行开始时间 begintime=time.time() ### 读取数据文件 datafile=pd.read_csv("data/boston
机器学习–Iris数据集的Fisher线性分类以及数据可视化技术的学习
12-20
2. 数据预处理：对数据进行清洗，例如检查缺失值，处理异常值，如果有必要，还需要进行归一化或标准化操作。 3. 计算类均值：对于Iris数据集中的三个类别（setosa, versicolor, virginica），分别计算每类的特征...
数据特征归一化和标准化
sinat_36618660的博客
07-31 1444
(一)为什么要进行归一化,标准化？ 每个特征的数值差异大小会造成分析结果的偏向,例如:身高(m)与体重(kg),1.6m与1.8m的差距只有0.2m,而体重的差距可能达到100-50=50kg的差距,此时用体重去分类结果显而易见,也即此时体重对分析结果影响较大。 见下图： 从此图可以看出,身高相对体重失去决策能力,而体重却具有良好非线性去进行决策。所以说为了消除量纲造成的决策能力不同,我们需要进...
数据标准化与归一化
芒果冰麦
04-03 4107
特征归一化、标准化的理解 数据集如果标准化处理，对机器学习中的很多算法（包括梯度下降），会有很好的优化效果。如果数据未标准化（例如，数据集特征之间相差的数量级较大时），很多算法的表现性能不佳。 首先理解方差、标准差和均方根误差的区别 方差(variance) 衡量随机变量或一组数据的离散（偏离）程度 概率论中，方差是用来度量随机变量和其数学期望的（均值）之间的偏离程度。 统计学中，各数据分别...
多元线性回归学习（数据已归一化）小批量处理
xiaozhanfeng的博客
07-24 987
import tensorflow.compat.v1 as tf import pandas as pd import numpy as np import time import matplotlib.pyplot as plt from sklearn.utils import shuffle tf.disable_v2_behavior() ### 程序执行开始时间 begintime=time.time() ### 读取数据文件 datafile=pd.read_csv("data/boston
05.线性回归介绍
LWY_Xing的博客
12-12 947
【数学基础】 什么是线性回归？ 线性：两个变量之间的关系是一次函数（图像是直线）； 非线性：两个变量之间的关系是非一次函数（图像不是直线）； 回归：人们在测量事物的时候因为客观条件的限制，求的都是测量值，而不是事物的真实值，为了能够得到真实值无限次测量，最后通过这些测量数据计算回归到真实值，这就是回归的由来； 一般表达式：y=wx+by=wx+by=wx+b 均方误差（MSE）：欧氏距离（损失函数） J=12m∑i=1m(y′−y)2J=\frac{1}{2m}\displaystyle\sum_{i=1
理解：回归与拟合、归一化与标准化
09-13 1万+
回归和拟合： 一、回归： 研究一个随机变量Y对另一个(X)或一组(X1,X2,…,Xk)变量的相依关系的统计分析方法。 应用回归预测法时应首先确定变量之间是否存在相关关系。如果变量之间不存在相关关系,对这些变量应用回归预测法就会得出错误的结果。 二、拟合 所谓拟合是指已知某函数的若干离散函数值{f1,f2,…,fn},通过调整该函数中若干待定系数f(λ1,λ2,…,λn),使得该函数与已
【ML】线性回归 の 数据标准化
西瓜太郎
11-30 3452
文章目录1 What：数据标准化 vs 中心化2 Why：为什么要数据标准化3 When：什么时候做/不做数据标准化Do 数据标准化 的情况Undo 数据标准化 的情况线性回归无需标准化 の 数学证明线性回归无需标准化 の 实验证明不采用标准化采用标准化对比 标准化与无标准化 の 预测值4 其他：线性回归的易错点 1 What：数据标准化 vs 中心化 标准化： 数据的标准化(normalization)是将数据按比例缩放，使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到，去除数据的.
回归问题归一化总结
weixin_42038527的博客
05-25 5153
在用深度学习做回归问题时，对数据进行标准化处理是一个共识，将数据标准化，利用标准化后得数据进行数据分析。不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。原始数据经过数据标准化处理后，各指标处于同一数量级，适合进行综合对比评价。 那么对标签是否进行归一化就需要从实际问题出发，比如我在做药物分子溶解度预测时，溶解度的取值从0-5000，值的分布范围较大，这就需要进行归一化处理，因为我这个数据中出现了奇异
机器学习-线性回归-衡量指标、多元回归（2.2）
moonbaby
04-20 1176
一.评测标准 1.MSE mse_test = np.sum((y_predict - y_test)**2) / len(y_test) 2.RMSE rmse_test = sqrt(mse_test) 3.MAE mae_test = np.sum(np.absolute(y_predict - y_test))/len(y_test) 4.封装测评 该函数类定义...
归一化方法列举
CSDN1HAO的博客
06-12 1678
归一化方法：除以序列最大值的，叫峰归一化；除以序列之和的，叫面积归一化；除以序列的模，叫数值归一化，得到序列的方差为0，均值为1；(1) 线性函数转换，表达式如下：y=(x-MinValue)/(MaxValue-MinValue)y=a+(x-min)/(max-min)*(b-a)（归一到a-b之间）如a=0.1 ； b=0.9y=0.1+(x-min)/(max-min)*(0.9-0.1)...
机器学习部分：（均值）标准归一化和最大最小（线性）归一化问题
热门推荐
wyqwilliam的博客
08-16 2万+
归一化数据可以使各个特征维度对目标函数的影响权重一致，提高迭代的求解的收敛速度。 1、线性函数归一化(Min-Max scaling) 线性函数将原始数据线性化的方法转换到[0 1]的范围，归一化公式如下： 该方法实现对原始数据的等比例缩放，其中Xnorm为归一化后的数据，X为原始数据，Xmax、Xmin分别为原始数据集的最大值和最小值。 缺点是抗干扰能力弱，受离群值影响比较大，中间容...
海康威视NVR多项式回归入门：非线性拟合详解
在实际应用中，需要对数据进行预处理，包括缺失值填充、标准化或归一化，以及选择合适的阶数以避免过拟合。 多项式回归是数据挖掘和机器学习中的一项重要技术，它通过灵活的非线性建模能力，帮助我们理解和预测复杂...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值