数据预处理-对数变换

最新推荐文章于 2022-12-26 15:00:51 发布
最新推荐文章于 2022-12-26 15:00:51 发布
阅读量3.7k 收藏 9
点赞数 1
分类专栏： 机器学习 文章标签： 机器学习 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jian_h/article/details/105081281
版权

当数据发生倾斜时，可以使用特征工程技巧，利用统计或数学变换来减轻数据分布倾斜的影响。使原本密集的区间的值尽可能的分散，原本分散的区间的值尽量的聚合。

log 变换通常用来创建单调的数据变换。它的主要作用在于帮助稳定方差，应用 log 变换会倾向于拉伸那些落在较低的幅度范围内自变量值的范围，倾向于压缩或减少更高幅度范围内的自变量值的范围。从而使得倾斜分布尽可能的接近正态分布并使得数据与分布的平均值无关。
在这里插入图片描述
λ通常设置为1，c通常设置使用欧拉常数 e。

  • 倾斜数据
    待处理数据

  • log 处理变化后
    在这里插入图片描述
    与先前倾斜分布相比，该分布更加像正态分布或高斯分布

参考文档

  1. 连续数据的处理方法
Jian_h
关注
  • 1
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Indian_pines_classification:使用CNN和keras的简单分类器对印度松树高光谱图像进行分类
05-16
Indian_pines_classification 运行环境 Anaconda 3.6.4 python=3.6.4 Keras=2.1.5 TensorFlow=1.3.0 作为keras后端 numpy=1.14.2 notebook=5.4.1 ipython=6.3.1 spectral=0.19 代码结构 dataset.ipynb 利用spectral工具包读取数据集,然后对数据集进行预处理,包括进行训练测试集分割 / 序列化和PCA变换,并将其以npy的格式保存到文件中.处理后的数据集保存在predata文件夹中. train.ipynb 利用keras构建卷积神经网络模型,读取与处理的数据集进行训练. 其中训练过程,使用随机梯度下降法SGD作为优化算法,使用多分类的对数损失函数categorical_crossentropy作为损失函数. 使用ReduceLROnPla
机器学习中对变量数据进行Log变化
lvchunyang66的博客
12-26 9108
机器学习算法中，一些算法要求数据符合正态分布，但是对于一些标签和特征来说，分布不一定符合正态分布，这个要怎么处理呢？ 一个现在比较常见的方式是将数据进行Log变，即取对数，这样可以使得数据在一定程度上符合正态分布的特征。 效果如下图所示： （转换前） （转换后） ...
OpenCV—python 图像显著性检测算法—HC/RC/LC/FT
红叶谷 wsp_1138886114的博客
10-24 2万+
文章目录一、显著性检测研究现状二、基于谱残差法的显著性检测三、基于全局对比度图像显著性检测（LC）2.1 基于直方图对比度的显著性检测（HC）2.2 基于区域的对比度方法(region-based contrast 简称RC)四、基于深度学习的显著性检测 一、显著性检测研究现状 建立计算模型进行显著性检测。 思想是：对输入图像首先进行多个特征通道和多尺度分解，再进行滤波得到特征图，再对特征图...
特征工程（三）不同类型数据处理pipeline
01-07
非常简略的整理下在特征工程我会采用的一些常规流程，不做具体介绍。 一.数值特征 1. 预处理           2. 离散值处理 labelEncoder / map / one-hot-encoding / get_dummy 二值特征转换 多项式特征（模型用SVM） 3. 连续特征离散化 binning  分位数切分 4. 对数变换（模拟正态分布） 二.日期特征 ts_objs = np.array([pd.Timestamp(item) for item in np.array(df.Time)]) 转换成timestamp标准格式  '2015-03-08 10:30:00.36
基于神经网络的电火花加工工艺选择模型研究 (2006年)
04-27
针对电火花加工工艺数据的特点，研究了神经网络输入输出数据的预处理方法，提出了基于对数变换的数据预处理算法，测试表明效果较优。分析了电火花加工工艺的特点及其复杂性，提出了基于神经网络的电火花加工工艺选择模型。谈模型能模拟熟练探作者的决策过程。测试结果表明，该模型能真实反映机床本身的工艺特点，模型值和实测值相差较小。能实现在蛤定加工要求下电加工参数的自动选择。
计算机数学
u012333307的专栏
09-27 624
数据区对数的意义 平时在一些数据处理中，经常会把原始数据取对数后进一步处理。 之所以这样做是基于对数函数在其定义域内是单调增函数，取对数后不会改变数据的相对关系，取对数作用主要有： 缩小数据的绝对数值，方便计算。 例如，每个数据项的值都很大，许多这样的值进行计算可能对超过常用数据类型的取值范围，这时取对数，就把数值缩小了，例如TF-IDF计算时，由于在大规模语料库中，很多词的频率是非常大的数字。
特征数据进行对数变换
qq_24263553的博客
04-04 1524
平时在一些数据处理中，经常会把原始数据取对数后进一步处理。之所以这样做是基于对数函数在其定义域内是单调增函数，取对数后不会改变数据的相对关系，取对数作用主要有： 1、缩小数据的绝对数值，方便计算。例如，每个数据项的值都很大，许多这样的值进行计算可能对超过常用数据类型的取值范围，这时取对数，就把数值缩小了，例如TF-IDF计算时，由于在大规模语料库中，很多词的频率是非常大的数字。 2、取对数后，可以...
显著性分析
EmoC的博客
12-26 2099
为了找到更符合数据的分析方法。每个方法有自己的假设，如果违背了结果会不精准。Sign Test 是一个可以用于任何数据分布情况的pairwise 方法。检查:Sample 数量 < 50,适用 Shapiro-Wilk，Sample 数量 >= 50,适用Kolmogorov-Smirnov。
告诉你为什么数据要取对数
热门推荐
xiaolang85的专栏
06-07 4万+
平时在一些数据处理中，经常会把原始数据取对数后进一步处理。之所以这样做是基于对数函数在其定义域内是单调增函数，取对数后不会改变数据的相对关系，取对数作用主要有： 1. 缩小数据的绝对数值，方便计算。例如，每个数据项的值都很大，许多这样的值进行计算可能对超过常用数据类型的取值范围，这时取对数，就把数值缩小了，例如TF-IDF计算时，由于在大规模语料库中，很多词的频率是非常大的数字。 2. 取
OpenCV - 均衡直方图、Log变换、伽马变换3种图像增强方法
青山渺渺
04-12 3185
所谓图像增强就是把对比度低，看不清楚的图片处理成为对比度高，比较清楚的图片。 下面有三种增强方式，其中log和gamma变换是要自己实现的，效果的好与坏是需要自己调整参数的！！！！ 1、均衡直方图 上图中图像灰度集中在100-200的区域内，显得灰蒙蒙的，在在经过均衡直方图的处理后，图像灰度均匀分布在0-255的区域内，变得清晰很多。均衡直方图在opencv种直接有接口，效果如下： ...
生物统计学
qq_2604617551的博客
04-18 2349
* 多元回归与相关 一元回归是因变量Y在一个自变量X上的回归，它仅仅涉及到两个变量的关系问题。多元回归（multiple regress）：一个变量（因变量）对其他两个或两个以上变量（自变量）的线性回归关系。 若因变量Y同时受到m个自变量X1，X2，…，Xm的影响，且这m个自变量皆与Y成线性关系，则这m+1个变量的关系就形成m元线性回归。多元回归与相关分析主要解决的问题： 1.建立由多个自变量描述和预测因变量的多元回归方程； 2.在多个自变量中，选择对因变量有显著效应的自变量，剔除不显著
数据分析面试题
qq_39223444的博客
08-18 2万+
在信息时代，数据分析已成为很多行业业务发展的必不可少的根据，根据本人面试经验与收集大佬经验总结了本文，有偏向业务层面的业务分析和数统思维，也有偏向技术层面的python、机器学习、深度学习和Linux，还有通用的HR面，供大家参考，如果能帮到大家一点点，将是我莫大的荣幸。...
python：对数log 零的处理
CSblogger的博客
03-08 4392
python：对数log 零的处理 在python中有两种计算对数的方法 一下为 计算以base为底，num的对数 Method 1: math.log(num,base) 需要导入import math Method 2：numpy.logbase(num) 需要导入import numpy 对num=0的情况 math.log 会直接报错并退出程序。 numpy.log只是抛出warning，并继续运行。对于num=0时，计算结果为负无穷，-Inf 此外，math.log 只能处理单个数字，而numpy
对于LOG的处理
kingmasterlife的博客
09-03 814
一般我们在开发的过程中，会有调试阶段，这个时候需要一些自己的Log打印。但是在正式发布的时候我们又不希望自己的这些打印被别人获取到。于是我们需要设计一个LogUtils类来简单处理这一问题。 当然Log的类型很多，设计的也可以很复杂。那么就不一一列举了。说个最简单的封装方法。 public class LogUtils { public static boolean LogSwitc...
python项目实践：log处理，提取日志中的性能数据
STCNXPARM的博客
01-25 2万+
python能十分方便地进行文本处理，文本数据分析、提取、替换或综合应用都十分轻松，以下在项目中需要对日志中性能数据提取并写入到xls，方便对性能优劣分析，以下 项目可以作为一个模板进行改造升级应用： 源代码 #!/usr/bin/env python import os import sys import re FILTER_1 = "10(0 failed) times" FILTER_2 = "perf data" FUN_NAME = ['test func perf'] def filter
数据分析 数据预处理
qq_40886697的博客
08-09 415
1. 数据预处理 log transformation 处理label的right-skewed右偏分布数据，使得一些很大值偏向中心，接近正态分布。但自变量是否需要log处理需要看情况…。参考链接 ln⁡Yi=β1+β2ln⁡Xi+ϵi \ln{Y_i} = \beta_1 + \beta_2 \ln{X_i} + \epsilon_i lnYi​=β1​+β2​lnXi​+ϵi​ 使用Pool进行多线程处理，先对数据分片，然后用map对所有片同时处理。 def parallelize_df_func(
图像增强-对数Log变换
苦逼的程序猿
05-08 1万+
图像的对数变换作用：由于对数曲线在像素值较低的区域斜率大，在像素值较高的区域斜率较小，所以图像经过对数变换后，较暗区域的对比度将有所提升，所以就可以增强图像的暗部细节。 对数变换可以将图像的低灰度值部分扩展，显示出低灰度部分更多的细节，将其高灰度值部分压缩，减少高灰度值部分的细节，从而达到强调图像低灰度部分的目的。变换方法： 对数变换对图像低灰度部分细节增强的功能过可以从对数图上直观理解...
python数据获取及预处理_常见的数据预处理--python篇
最新发布
05-20
数据预处理是数据分析中非常重要的一个环节，它可以让原始数据更加适合用于各种分析和建模任务。常见的数据预处理包括数据清洗、缺失值处理、异常值处理、特征选择、特征缩放和特征变换等。下面我们将介绍一些常见的数据预处理方法。 1. 数据清洗 数据清洗是指在数据中去除不合理、重复或者无效的数据，保证数据的完整性和准确性。常见的数据清洗方法包括： - 删除重复数据 - 去除异常值 - 去除不合理数据 - 填充缺失值 2. 缺失值处理 缺失值是指数据集中某些数据缺失的情况。常见的缺失值处理方法包括： - 删除缺失值 - 插值法填补缺失值 - 使用平均值、中位数、众数等统计量填补缺失值 3. 异常值处理 异常值是指数据集中不符合正常规律的数据。常见的异常值处理方法包括： - 删除异常值 - 修改异常值 - 使用插值法填补异常值 4. 特征选择 特征选择是指从原始数据中选择最具有代表性的特征，以便用于分析和建模。常见的特征选择方法包括： - 过滤式特征选择 - 包裹式特征选择 - 嵌入式特征选择 5. 特征缩放 特征缩放是指将不同量纲的特征缩放到相同的范围内。常见的特征缩放方法包括： - 标准化 - 归一化 - 对数变换 6. 特征变换 特征变换是指通过对原始数据进行某些变换，使得数据更适合用于分析和建模。常见的特征变换方法包括： - 主成分分析（PCA） - 线性判别分析（LDA） - 因子分析 以上就是一些常见的数据预处理方法，通过对数据进行适当的预处理，可以提高数据分析和建模的准确性和效率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值