log和box-cox变换

最新推荐文章于 2024-08-12 18:25:12 发布
最新推荐文章于 2024-08-12 18:25:12 发布
阅读量1.7k 收藏 2
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42587745/article/details/88787088
版权

1. 通常对于y进行log变换，因为诸如线性模型、SVM等要求target variable是服从正态分布的

2. 对于特征值服从偏态分布的，可以使用box-cox进行变换，可使用

from scipy.special import boxcox1p 

当λ=0时，使用log变换

当λ=1时，相当于对x进行平移，得到x-1

详见 http://onlinestatbook.com/2/transformations/box-cox.html

 

噶噶~
关注
专栏目录
Box-Cox变换的matlab程序
05-16
Box-Cox变换是一基于极大似然法的幂转换模型，有一个待定参数，此程序是求解此参数的matlab算法。
C3-1.3.1 无监督学习——异常检测
weixin_46228946的博客
01-10 924
这里只拿出来两个特征值（X1 , X2）来举例，为了可视化让我们了解的更加方便，实际应用中 特征的数量可能达到上百 / 上千：说明的大概率的，是正常的：是小概率发生的事件，要进行进一步的检查**P（X）：**这里通过训练集建立完成 模型 P(X)后，用训练集数据 X-test 来判断结果 P（X-test）：是否是状态异常的发动机**ε的值：**即最外圈蓝色框的概率的值。
谈谈log，标准化，归一化与box-cox转换之间的联系与区别
Liao_Wenzhe的博客
08-10 4308
log化：可以对向左偏态，不满足正太分布的特征正态化。 z-score标准化：用的比较多，是最常用的标准化之一，从公式看其不太容易受异常值影响。 max-min最大最小归一化：最大特点是能把数据规整到0-1之间，但是最大最小值容易受到异常值影响。 box-cox转换，如下图（左上角的图就是log化），利用极大似然估计特征的偏态情况，并利用公式对其转换成近似的正太分布。如果左偏就用左上角的log进行转换，如果右偏态就用右下角的图示进行正太转换。 那为什么要将特征和标签正太化呢？可以拿简单的线性回归举例
Box-Cox变换 改善数据的分布特性 实践
最新发布
flyfish
08-12 1114
flyfish
机器学习中对变量数据进行Log变化
lvchunyang66的博客
12-26 9493
机器学习算法中，一些算法要求数据符合正态分布，但是对于一些标签和特征来说，分布不一定符合正态分布，这个要怎么处理呢？ 一个现在比较常见的方式是将数据进行Log变，即取对数，这样可以使得数据在一定程度上符合正态分布的特征。 效果如下图所示： （转换前） （转换后） ...
boxcox变换python实现
酱紫煲饭~
10-12 1万+
boxcox1p变换参数lambda估算方法： 极大似然估计 或者 贝叶斯估计 （原理略） 极大似然估计： 设总体中含有待估参数theta, 可以取很多值。已知样本观察值，求使该样本值出现概率最大的theta值作为theta的估计值，称之为极大似然估计。 参考：极大似然估计思想的最简单解释 python代码： for i,lam in enumerate(lam_range): llf...
数据预处理—5.box-cox变换及python实现
柳杰的博客
03-25 9052
文章目录1.box-cox变换是什么？2.python实现 接上一篇： 特征工程—4.为什么要趋近于正态分布?详解 1.box-cox变换是什么？   Box-Cox变换是Box和Cox在1964年提出的一种广义幂变换方法，是统计建模中常用的一种数据变换，用于连续的响应变量不满足正态分布的情况。Box-Cox变换之后，可以一定程度上减小不可观测的误差和预测变量的相关性。Box-Cox变换的主要特点是引入一个参数，通过数据本身估计该参数进而确定应采取的数据变换形式，Box-Cox变换可以明显地改善数据
OpenCV - 均衡直方图、Log变换、伽马变换3种图像增强方法
青山渺渺
04-12 3283
所谓图像增强就是把对比度低，看不清楚的图片处理成为对比度高，比较清楚的图片。 下面有三种增强方式，其中log和gamma变换是要自己实现的，效果的好与坏是需要自己调整参数的！！！！ 1、均衡直方图 上图中图像灰度集中在100-200的区域内，显得灰蒙蒙的，在在经过均衡直方图的处理后，图像灰度均匀分布在0-255的区域内，变得清晰很多。均衡直方图在opencv种直接有接口，效果如下： ...
Box-Cox变换在Matlab上的实现——以中国汽车特征价格模型为例.pdf
10-31
Box-Cox 变换是由 Box 和 Cox 在 1964 年提出的一个变换方法，该方法可以使线性回归模型满足线性性、独立性、方差齐性以及正态性的同时又不丢失信息。该变换方法广泛应用于数据分析和回归模型的建立中。 在 Matlab ...
box-cox转换的方法介绍和操作说明
03-24
Box-Cox转换是一种统计学上的数据变换方法，主要用于优化数据的线性关系，方差齐性和正态性，以提高模型的预测准确性。这个转换是由George E.P. Box和Dennis R. Cox在1964年提出的。在回归分析中，当原始数据不满足...
基于Box-Cox变换的住宅特征价格理论研究 (2007年)
04-27
在国外研究的基础上，提出在线性函数应用的基础上，对模型进行Box-Cox变换，并利用线性Box-Cox特征模型对巴黎的住宅市场进行实证研究。实证研究的结果有效地解释了各个特征与价格之间的关系，同时还说明，对住宅特征...
BoxCox以及反变换的简介和Python实现
weixin_44405644的博客
08-16 1万+
一、BoxCox变换 1 基本含义 Box-Cox变换是一种广义幂变换方法，用于连续的响应变量不满足正态分布的情况。Box-Cox变换之后，可以一定程度上减小不可观测的误差和预测变量的相关性。Box-Cox变换的主要特点是引入一个参数lambda，通过数据本身估计该参数进而确定应采取的数据变换形式，Box-Cox变换可以明显地改善数据的正态性、对称性和方差相等性，对许多实际数据都是行之有效的（摘自百度百科）。 我认为最关键的是这一点：Box-Cox变换通过对因变量进行变换，使得变换过的向量与回归自变量具有线
基于Python回归模型的BOX-COX变换和强影响点分析
DL11007的博客
01-13 2153
回归模型的BOX-COX变换消除异方差和自相关性的影响以及强影响点的分析。
数据预处理-对数变换
nothing
03-24 4029
这里写自定义目录标题 数据分布的倾斜有很多负面的影响。 我们可以使用特征工程技巧，利用统计或数学变换来减轻数据分布倾斜的影响。使原本密集的区间的值尽可能的分散，原本分散的区间的值尽量的聚合。 Log变换通常用来创建单调的数据变换。它的主要作用在于帮助稳定方差，始终保持分布接近于正态分布并使得数据与分布的平均值无关。 ...
python实现非正态分布转正态分布（BoxCox转换）
数据杂坛
05-03 6280
python 实现将一维非正态分布数据转化为正态分布
图像增强-对数Log变换
热门推荐
苦逼的程序猿
05-08 2万+
图像的对数变换作用：由于对数曲线在像素值较低的区域斜率大，在像素值较高的区域斜率较小，所以图像经过对数变换后，较暗区域的对比度将有所提升，所以就可以增强图像的暗部细节。 对数变换可以将图像的低灰度值部分扩展，显示出低灰度部分更多的细节，将其高灰度值部分压缩，减少高灰度值部分的细节，从而达到强调图像低灰度部分的目的。变换方法： 对数变换对图像低灰度部分细节增强的功能过可以从对数图上直观理解...
机器学习——特征工程——对数转换、Box-Cox转换
huangguohui_123的博客
12-14 1万+
一、对数转换 对数函数可以对大数值的范围进行压缩，对小数值的范围进行扩展。x越大，log(x)增长得越慢。如下图： 我们以如下数据为例。 biz_file = open('精通特征工程/精通特征工程/data/yelp_academic_dataset_business.json') biz_df = pd.DataFrame([json.loads(x) for x in biz_file.readlines()]) biz_file.close() biz_df.info() 输出： .
特征预处理--长尾分布的处理方案
ningyanggege的博客
04-28 9982
声明：版权所有，转载请联系作者并注明出处http://blog.csdn.net/u013719780?viewmode=contents 0x00 前言 数据预处理包含数据探索、数据清洗和特征预处理三部分，《特征工程系列：特征预处理（上）》介绍了无量纲化和特征分桶相关的处理方法，本章将继续介绍特征预处理中的统计变换和类别特征编码相关内容。 0x01 统计变换 数据分布的倾斜...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值