数据质量管理_第四篇 对数变换

最新推荐文章于 2023-07-10 11:03:57 发布
最新推荐文章于 2023-07-10 11:03:57 发布
阅读量2.6k 收藏 6
点赞数 1
分类专栏： 数据质量
Copyright 2019 Mary Sun.All rights Reserved
本文链接：https://blog.csdn.net/ab19920904/article/details/107834293
版权

目录

1. 对数变换 log transformation

对数变换是一种特殊的数据变换方式，它可以将一类理论上未解决的模型问题转化为已经解决的问题。

2. 数据取对数的原因

基于对数函数在其定义域内是单调递增函数。取对数后不会改变数据的相对关系。它们的主要作用在于它能帮助稳定方差，始终保持分布接近于正态分布并使得数据与分布的平均值无关。

3. 取对数的意义

  • 缩小数据的绝对数值，方便计算
  • 取对数后，可以将乘法计算转换为加法计算
  • 某些情况下，在数据的整个值域中的不用区间的差异带来的影响不同
  • 取对数后，不会改变数据的性质和相关关系，但压缩了变量的尺度。

4. 计算公式

在这里插入图片描述
Log变换倾向于拉伸那些落在较低的幅度范围内自变量值的范围，压缩或减少较高幅度范围内的自变量值的范围。从而使得倾斜分布尽可能的接近正态分布。
参考链接：https://www.zhihu.com/question/22012482

SMT深海的鱼
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
对数变换
Sousky的博客
06-05 4875
对数变换表达式： g = c*log(1 + f)  c是常数，f是浮点数。 其主要应用是压缩动态范围。如傅里叶频谱的取值范围是[0, 106]或更高。将其以线性缩放到8比特显示器时，频谱中低灰度的可见细节容易丢失。通过对数计算，106可以降到14左右[ln(106) = 13.8]   为了压缩值出现在完整的显示范围，对8比特来说，使用 gs = im2unit8(mat2gray(g
第二讲SPSS的数据准备二2022优秀文档.ppt
11-30
本篇主要介绍SPSS的数据准备过程，包括数据编辑器的功能、数据文件的整理、加权、重编码、数据变换和计算、缺失值处理以及数据审核。 一、数据编辑器的功能 数据编辑器是SPSS用户界面的核心部分，用于查看和编辑...
何时需要对时间序列进行Log Transformation
vernice的专栏
08-31 9311
处理时间序列数据时，经常需要对数据进行预处理，然后在使用复杂模型处理数据。其中，常用的一种方法就是对数据取log，进行log变形。那么什么样的时间序列数据需要进行取log呢？查阅资料发现，如果数据满足如下两点，就比较适合take log。 每个时刻的数据都为正数（为0时，可以通过+1来变为正数）数据的变化量随着时间的增加，指数级增加 以一个具体的例子来看： 原始数据：
机器学习——特征工程——对数转换、Box-Cox转换
huangguohui_123的博客
12-14 9853
一、对数转换 对数函数可以对大数值的范围进行压缩，对小数值的范围进行扩展。x越大，log(x)增长得越慢。如下图： 我们以如下数据为例。 biz_file = open('精通特征工程/精通特征工程/data/yelp_academic_dataset_business.json') biz_df = pd.DataFrame([json.loads(x) for x in biz_file.readlines()]) biz_file.close() biz_df.info() 输出： .
数据预处理之对数变换
i4scareCrawl的博客
04-26 9040
对数据做一些变换的目的是它能够让它符合我们所做的假设，使我们能够在已有理论上对其分析。 对数变换(log transformation)是特殊的一种数据变换方式，它可以将一类我们理论上未解决的模型问题转化为已经解决的问题。我将说两类比较有代表性的模型。 这句话交代了假设，也就是说，数学模型在实际问题的应用（应用数学） 逆文本频率指数（Inverse document frequency 缩写为ＩＤ...
从零开始学统计 09 | 对数转换
Baimoc
09-03 6475
一、对数转换 左边是普通数轴，利用log2函数将左边的数据取它的指数，拿到对数轴 同样获取对数轴的负值： 二、什么时候用对数转换 涉及到倍数变化的时候，就应该使用对数比例尺。 在左侧数值虽然是分别大8倍，小8倍的差别，但是在数轴上并不对称。但是经过转换后，这两个倍数差异离中心0是等距的，倍数变化就被明显的展示出来了。这可以使正负倍数的变化出现在一个对称的尺度上。 三、总结 Log 函数只是去剥离指数 对数比例尺对于倍数变化非常有用 对数的平均值，也叫几何平均值（Geometric Mean），对
guiyihua.rar_c++ 数据归一化_数据归一化
09-23
3. **对数变换**：对于偏斜的数据分布，对数变换可以有效减小数据的波动，使其更接近正态分布。 4. **最大绝对值缩放**：这种归一化方式将数据映射到-1到1之间，适用于最大值和最小值为正数的情况，公式为：2 * (x ...
ffttt.zip_FFTTT_傅里叶_傅里叶变换
07-14
它提供了实例和数据，便于理解并实践傅里叶变换的基本概念和应用。傅里叶变换是一种在数学、物理学和工程学等领域广泛应用的工具，用于将信号或函数从时域（或空间域）转换到频域，揭示其频率成分。 1. **傅里叶...
第8、9讲- 图像变换FFT和DCT_matlab_图像变换_
10-03
3. 执行傅里叶变换：调用`fft2`对图像进行变换，并使用`abs`和`log`函数进行幅度和对数运算，以增强可视化效果。 4. 执行DCT变换：调用`dct2`对图像进行DCT变换。 5. 显示原始图像和变换结果：使用`imshow`函数展示...
yiyin.rar_基音周期 matlab_对数幅度谱_平均过零率_短时平均能量_能量谱
09-24
在MATLAB中，可以使用fft函数计算傅立叶变换得到幅度谱，然后应用log函数转换为对数幅度谱，这有助于减少噪声影响并突出重要的频谱特征。 4. **平均过零率（Zero-Crossing Rate, ZCR）**：平均过零率是衡量音频信号...
第三章：对数变换
qq_42598935的博客
06-10 448
//对数变换 cv::Mat LogTransform2(cv::Mat& src, double c) { if (src.channels() > 1) cv::cvtColor(src, src, COLOR_RGB2GRAY); cv::Mat dst; src.copyTo(dst);//使用copyTo函数可以得到一个复制的矩阵 dst.convertTo(dst, CV_64F); dst = dst + 1.0; ...
对于对数变换（log transform）的一些理解
chizi15的博客
11-19 3820
1. ln(1/x) + lnx = ln(x^(-1)) + lnx = -lnx + lnx = 0 即对一个数（如x）取对数，与其倒数（1/x）取对数，互为相反数。 2. 若要比较两个函数在某区间内变化的相对快慢，可对两个函数做减法，构造一个目标函数，利用求导，根据目标函数的因变量随自变量的变化情况，来判断作为被减数的函数和作为减数的函数的变化的相对快慢。
对数变换公式的推导
chenbingchenbing的专栏
05-09 2725
<br />对数变换公式的推导<br />lg(a)b=log b/log a<br />Go<br />设a^s=b,e^s1=b,e^s2=a<br />Go<br />(e^s2)^s=e^(s2*s)=b=e^s1<br />Go<br />s2*s=s1<br />Go<br />s=s1/s2<br />Go<br />得到证明。
数字图像处理之点运算---对数变换
jxqbuct的博客
04-12 7863
一.理论基础 对数变换的一般形式：t=clog(1+s),其中c为尺度比例常数，s为源灰度值，t为变换后的目标灰度值。由函数曲线可知，灰度值低的时候斜率较高，灰度值高的时候斜率低哦，根据这个特点对数变换主要应用于下面的两个方向： 1.增强一副图像中比较暗的部分，从而用来扩展被压缩的高值图像中的较暗像素。 2.广泛用于频谱图像的显示中。傅里叶变换的频谱动态范围可能宽达0~10六次方，直接显示频谱时，...
数字图像处理中对数变换与Gamma变换
weixin_57038791的博客
11-28 5789
图像的对数变换主要的作用是压缩动态范围，原因是对数曲线在像素值较低的区域斜率大，在像素值较高的区域斜率较小，所以图像经过对数变换后，较暗区域的对比度将有所提升，所以就可以增强图像的暗部细节。
图像的对数变换和伽马变换
最新发布
mapleleaf2的博客
07-10 4900
其中，g(x, y) 是变换后的像素值，f(x, y) 是原始像素值，c 是一个常数，用于控制对比度的增益，γ 是一个参数，称为伽马值，用于调整亮度的曲线形状。其中，g(x, y) 是变换后的像素值，f(x, y) 是原始像素值，c 是一个常数，用于控制对比度的增益。其中，f(x, y)表示输入图像的像素值，g(x, y)表示输出图像的像素值，c是常数，γ是调节参数。对空域的对数变换，是指对原图的逐像素实现对数变换的映射，可以看到在像素值较暗的地方，曲线斜率较大，在像素值较亮的地方，曲线斜率比较小；
数字图像处理-空间域处理-灰度变换-基本灰度变换函数（反转变换、对数变换、伽马变换和分段线性变换）...
weixin_30751947的博客
03-23 1375
总结性的一篇博文，内容其实很简单，之所以写出来是为了对自己之前所学做一些总结。 参考自：《数字图像处理》--第三版--冈萨勒斯--中，以及师兄提供的参考资料，在此对师兄表示感谢。 空间域处理是直接对像素进行操作的方法，这是相对于频率域处理而言的。空间域处理主要分为两大类：灰度变换和空间滤波。灰度变换在图像单个像素上操作，主要以对比度和阈值处理为目的。空间滤波涉及改善性能的操作，...
【其他】对数转换的作用
喜东东的博客
07-01 8582
【参考】 1.在统计学中为什么要对变量取对数？ 2.为何经常通过取对数来消除异方差性？ 【总结】 结合个人理解，对上述参考资料中关于“对数转换的作用”的相关观点进行如下总结： 1.缩小数据的绝对数值大小。如：企业资产； 2. 将乘法计算转换称加法计算。即，logx-logy=log(x/y)，logx+logy=log(xy)； 3.某些情况下，在数据的整个值域中的在不同区间...
在MATLAB中将表格纵坐标数据改为对数坐标
06-08
在MATLAB中将表格纵坐标数据改为对数坐标可以按照以下步骤进行： 1. 读取数据表格。可以使用MATLAB中的readtable函数读取数据表格。 2. 将需要改为对数坐标的数据列提取出来。可以使用MATLAB中的table2array函数将表格转换为数组，再使用数组下标的方式提取需要改为对数坐标的列。 3. 使用MATLAB中的log10函数对数据列进行对数变换。log10函数可以将数据取以10为底的对数。 4. 将对数变换后的数据替换掉原数据表格中的对应列。 5. 可以使用MATLAB中的semilog函数绘制对数坐标系的图形。semilog函数可以将纵坐标变为对数坐标，横坐标为普通坐标。 以下是一个简单的示例代码： ```matlab % 读取数据表格 data = readtable('data.xlsx'); % 提取需要改为对数坐标的数据列 y = table2array(data(:, 2)); % 对数据列进行对数变换 y_log = log10(y); % 替换原数据表格中的对应列 data(:, 2) = array2table(y_log); % 绘制对数坐标系的图形 semilogx(data(:, 1), y_log); ``` 其中，`data.xlsx`是存储数据的Excel文件，第一列为横坐标，第二列为纵坐标。在代码中，使用`readtable`函数读取数据表格，使用`table2array`函数提取纵坐标数据列，使用`log10`函数进行对数变换，使用`array2table`函数将对数变换后的数据替换回原表格中的对应列，最后使用`semilogx`函数绘制对数坐标系的图形。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值