数据归一化——自学第三篇

最新推荐文章于 2024-04-11 15:32:33 发布
最新推荐文章于 2024-04-11 15:32:33 发布
阅读量547 收藏 5
点赞数
文章标签： 机器学习基础算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yh_1021/article/details/82469755
版权
本文介绍了数据归一化在机器学习中的作用，包括最值归一化和均值方差归一化两种方法，并强调了测试数据集归一化的正确方式，即使用训练数据集的统计信息。通过对iris数据集的KNN分析，展示了归一化对模型精度的提升效果。
摘要由CSDN通过智能技术生成

1、数据归一化(normalization)

举个例子，例如下图所示的判断是否为恶性肿瘤的数据中，有两个特征，分别为肿瘤大小和肿瘤发现的时间，如果按照KNN算法中需要计算两个数据之间的欧拉距离，则发现时间的差的平方将远远大于肿瘤大小的差的平方，因此样本间的距离被“发现时间”所主导。

这里写图片描述
如果不进行数据归一化，则计算结果很可能被其中一个特征所主导

（1）最值归一化：把所有数据都映射到0-1之间

xscale=x−xmin
最低0.47元/天 解锁文章
yh_1021
关注
数据的两种归一化方法
吉大秦少游
11-28 1509
数据标准化（归一化）处理是数据挖掘的一项基础工作，不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。原始数据经过数据标准化处理后，各指标处于同一数量级，适合进行综合对比评价。 一般而言，数据的标准化（normalization）是将数据按比例缩放，使之落入一个小的特定区间。在某些比较和评价的...
深度学习自学记录（6）——标准化、归一化和BatchNormal的理解
qq_40784418的博客
05-11 4551
深度学习自学记录（6）——归一化和BatchNormal的理解1、标准化与归一化1.1归一化的目的和优势1.2常用的数据标准化方法2、BatchNormal2.1BN算法强大之处2.2BN算法诞生的背景与目的2.3BN算法思路2.4BN算法实战2.5Keras中的Batch Normalization3、总结4、参考 1、标准化与归一化 数据的标准化（normalization）是将数据按比例缩放，使之落入一个小的特定区间，或有特定的数据分布。在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其
Matlab数据归一化代码
10-05
带有例子的matlab的归一化和反归一化的代码，很详细。
数据归一化
jhkj_5154的博客
03-22 366
我们完成分类的时候少做了数据归一化Featur Scaling两本间的距离发现以时间为主导在这个例子中，假设两个特征 ，肿瘤大小和发现时间这两个样本的距离如果是欧拉距离，就是以时间主导了虽然样本数据中5和1相差5倍，200和100相差2倍但是由于量纲不同，导致了最终的距离其实是主要发现的天数他们之间的差距这是因为肿瘤大小之间的差值太小了 如果我们这么调整，那么肿瘤大小又被肿瘤大小所主导 如果我们不...
【机器学习】 - 数据预处理之数据归一化(标准化)与实战分析，正则化
xuanweiace的博客
03-08 4785
啊
将Iris数据集中的数值属性进行Z-Score归一化。
weixin_42608299的博客
02-14 345
Z-Score归一化是一种数据预处理方法，通过计算数据的Z-Score值，将数值属性的分布转换为标准正态分布。具体实现过程如下： 计算数据属性的平均值mean和标准差stddev。 对于每个数据点，将其原始值减去mean，再除以stddev。 获得的结果就是Z-Score归一化后的值。 应用到Iris数据集中的数值属性，就是将每一列的数据进行上述的操作。 ...
李沐28_批量归一化——自学笔记
最新发布
Rrrrrr900的博客
04-11 421
1.批量归一化固定小批量中的均值和方差，然后学习出合适的偏移和缩放2.可以加速收敛速度，但一般不改变模型精度。
梯度下降法——自学第五篇
yh_1021的博客
09-16 601
1、梯度下降法 作用：最小化一个损失函数 梯度上升法：最大化一个效用函数 - ηη\eta 为学习率 - ηη\eta 取值影响获得最优解的速度 - ηη\eta 是梯度下降法的超参数 - ηη\eta 太小，学习速度缓慢 - ηη\eta 太大，会导致不收敛 并不是所有函数都有唯一的极值点，一个函数可能有多个极值点，包含了全局最优解和局部最优解。 解决方案： 多次...
主成分分析法（PCA）——自学第六篇
yh_1021的博客
09-17 3530
1、主成分分析 （1）用途 非监督的机器学习算法 主要用于数据的降维 通过降维，可以得到更容易理解的特征信息 可以方便数据可视化、用于去噪 （2）原理 坐标系上有五个点，需要通过降维，在最大程度保留数据信息的基础上将二维表示的数据降到一维。所以我们需要找到一个轴，使得样本映射到轴上之后，样本间的方差最大（最容易区别各个样本） 。需要求一个轴的方向w=（w1，w2），使得所...
将Iris数据集中的数值属性进行Z-Score归一化并写出代码
weixin_35749545的博客
02-14 351
Z-Score归一化是一种数据预处理方法，它将数据的值按照其均值和标准差进行转换，以使所有特征的值都具有相同的量纲。 以下是使用 Python 对 Iris 数据集中的数值属性进行 Z-Score 归一化的代码示例： import pandas as pd import numpy as np # 读取 Iris 数据集 data = pd.read_csv("iris.csv") # 提取数...
深度学习（六） 测试数据集归一化
zhangxue1232的博客
03-17 2490
对测试数据集如何归一化呢？ 所以要保存训练集的均值和方差。 在scikit-learn对于数据归一化封装了一个类Scaler. 进行封装： import numpy as np class StandardScaler: def __init__(self): self.mean=None self.scale=None; def fit(self,X): """根据训练数据集X获得数据的均值和方差
4-7 数据的归一化
u012370185的博客
08-20 558
1. 为什幺要进行数据归一化? 2. 几种数据归一化方式 最值归一化: 把所有数据映射到0-1之间 均值方差归一化:把所有数据归一化到均值为0, 方差为1的分布中 3. 代码实现 最大值归一化: 均值方差归一化 4. 对测试集如何归一化? 按照训练集的均值和方差进行归一化 代码 5. 使用K近邻算法解决回归问题 6. K近邻算法的缺点 1. 为什幺要进行数据归一化?...
使用Sklearn机器学习库对Iris进行训练和测试
dazhi_1314的专栏
04-19 671
from sklearn.linear_model import LogisticRegression import pandas as pd from sklearn.cross_validation import train_test_split from sklearn.preprocessing import StandardScaler import pandas as pd impor
深度学习文章4：计算图像数据集的均值
莫欺丶Miss航的博客
12-01 7251
计算图像数据集的均值在前一篇文章中我们已经知道了如何将自己的图像数据转换为caffe需要的db文件深度学习文章3：将自己的图像数据转换成caffe需要的db(leveldb/lmdb)文件 ，在进行模型的训练之前，我们还需要进行一步，就是计算图像数据集的均值。1.为什么计算图像数据的均值？通常来讲，在各类深度学习模型中都具有计算图像均值的操作，这是因为图像减去均值后，再进行训练/测试，会大大提高速度
深度学习理论——数据预处理(逐样本减去均值)
Miss_yuki的博客
06-12 1万+
大家好，继续深度学习的理论日记，本次介绍数据预处理相关内容。在深度学习中，大家都会发现训练集，验证集合测试集划分好之后会有减去均值的一步操作，但很多人都是只跟着做，并没有探究为什么要做这一步处理。其主要原理是我们默认自然图像是一类平稳的数据分布(即数据每一维的统计都服从相同分布)，此时，在每个样本上减去数据的统计平均值可以移除共同的部分，凸显个体差异。其效果如下所示：可以看到天空的纹理被移除了，凸...
【Matlab】均值方差对比图
XYZ
09-11 1万+
有些时候，为了对比不同情况下数据的均值和方差，我们可以使用表格法，但是表格法的确定在于不够直观，其实，可以利用Matlab绘图帮助我们快速而准确地表达出我们想要表达的意思。 若情况的个数比较少，那么我们可以使用箱线图表示数据的均值和方差； 箱线图又称为盒图，利用matlab的boxplot函数可以很方便地画出上面的效果： boxplot(randn(30,3)); 若情况的个数过多，...
基于iris数据集测试不同机器学习分类器的准确率（上）
shubrewer的博客
05-03 1508
在sklearn中调用K近邻、决策树和随机森林分类器对鸢尾花数据集分类
数据归一化（详解，含代码实现）
热门推荐
Mingw_的博客
03-04 1万+
从原理到实践，详解数据归一化
【机器学习实战】数据归一化
QianT
03-07 1854
一、介绍 为什么需要进行数据归一化？ 举个简单的例子。在下列的散点图中，可知，横轴的值相比于竖轴而言很小，倘若对于一个分类问题，采用KNN算法时求每两个点之间的距离时，倘若数据不归一化的话，因横轴上的数值作用十分小，很容易导致出现严重的误差。 因此需要对数据归一化。 两种数据归一化的方法： 最值归一化（Normalization）：把所有数据映射到0-1之间。适用于分布有明显边界...
MATLAB实现数据归一化处理技巧
3. 常见的数据归一化方法： - 最小-最大归一化（Min-Max Scaling）： 通过线性变换将数据缩放到[0,1]区间。公式为：X' = (X - X_min) / (X_max - X_min)，其中X是原始数据，X_min和X_max分别是该特征的最小值和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值