机器学习笔记：特征处理——相关性分析GINI impurity

最新推荐文章于 2024-08-03 11:33:59 发布
最新推荐文章于 2024-08-03 11:33:59 发布
阅读量896 收藏
点赞数 2
文章标签： 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/laowuzhuanyong/article/details/125008968
版权

做相关性分析的方法有很多，这里分享几个相关性分析。

1、GINI系数

什么是基尼系数呢，其实就是P(Y|X)的一种变形，用人话就是说，利用多个标签，是否能区分模型，也就是相关度。

引入示例加深理解

X      Y
有钱  老板
有钱  傻逼
没钱  老板
没钱  傻逼
没钱  傻逼

如果他有钱的情况下，他是老板的概率为0.5(二分之一)

他没钱的情况下，他是老板的概率为0.33（三分之一）

所以他的GINI系数为 

\frac{1}{2}*(1-\frac{1}{2})+\frac{1}{3}*(1-\frac{1}{3})=\frac{17}{36}

trader易
关注
五、机器学习基础知识：相关性分析
weixin_42051846的博客
04-24 3464
分别从图表相关性分析、协方差分析、相关系数分析以及回归分析四个部分对机器学习中常见的数据特征相关性分析进行介绍，介绍过程中对相关性分析中具体的公式进行了说明。
机器学习基础（五十）—— Gini Impurity（基尼不纯度）与香浓熵（Shannon Entropy））
hftytf的博客
01-30 588
机器学习基础（五十）—— Gini Impurity（基尼不纯度）与香浓熵（Shannon Entropy））
【机器学习】回归类算法-相关性分析
最新发布
qq_51933234的博客
08-03 657
博主也是初学者，有很多不懂的地方，如果有说错的地方，欢迎大家指正。最后，该内容是跟着B站up主【abilityjh】老师学习的，大家可以去看该老师的视频学习！
机器学习数学基础十：相关分析
喜欢吃豆的博客
04-27 3812
这一章主要就是讲了统计学中相关分析的内容，比较复杂，因为这其中有一个很大的关系网，需要大家认真学习
机器学习-特征中的相关性及相关系数、卡方检验、互信息
数据掘金
08-06 2万+
过滤式方法先按照某种规则对数据集进行特征选择，然后再训练学习器，特征选择过程与后续学习器无关，这相当于先用特征选择过程对初始特征进行“过滤”，再用过滤后的特征来训练模型。相关系数法、卡方检验法和互信息法是进行特征选择时常用的几种过滤式方法。 变量之间的关系 变量之间的关系可分为两类： （1）存在完全确定的关系——称为函数关系，即Y=2X+3； （2）不存在完全确定的关系——虽然变量间有着十分密切的关系，但是不能由一个或多各变量值精确地求出另一个变量的值，称为相关关系，存在相关关系...
数据挖掘：特征工程——特征提取与选择
AvenueCyy的博客
02-25 1万+
数据挖掘：特征工程——特征降维与选择 特征的处理和构建已经在上一篇特征处理和构建文章中有所总结。接来下对特征降维和选择进行说明。 一、什么是特征降维与特征选择？ 一般经过特征处理和生成后，会产生大量的特征，而这些特征中有的特征是很重要的，但不是每一项特征都对模型有用，因此，要将这类没用的特征剔除掉。所以，特征降维与特征选择的主要目的就是为了剔除无用的特征。 之前一直有个疑惑，既然特征降维与特征选择...
机器学习笔记：决策树
jlycd的博客
01-30 268
决策树模型建立重要参数画图参数调优 模型建立 决策树是一种常见的机器学习算法，既可以做分类也可以做回归。决策树的执行过程是将数据从根节点一步一步的划分到各个叶子节点（决策的过程）。决策树包括以下组成成分： 根节点 肥叶子节点与分支 叶子节点（最终的决策结果） 核心：（怎样找到最佳树） 如何在表中找到最佳节点和最佳分支 如何让决策树停止生长 防止过拟合 模块 sklearn.tree tree.DecisionTreeClassifier 分类树 tree.DecisionTreeRegressor 回归树
机器学习笔记：随机森林
jlycd的博客
02-12 720
随机森林 随机森林是一种集成算法，是对决策树模型的集成学习。目的是通过考虑多个评估器建模结果，汇总得到一个综合结果。 集成算法包括bagging（装袋法），boosting（提升法），stacking（堆栈法）三种。 装袋法的核心思想是构建多个相互独立的评估器，然后对其预测进行平均或多数表决原则来决定集成评估器的结果。装袋法的代表模型就是随机森林。 提升法中，基评估器是相关的，是按顺序一一构建的。其核心思想是结合弱评估器的力量一次次对难以评估的样本进行预测，从而构成一个强评估器。提升法的代表模型有Adab
机器学习算法（5）—— 集成学习算法_集成学习算法库
2401_84183492的博客
05-01 317
集成学习通过建立几个模型来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成组合预测，因此优于任何一个单分类的做出预测。机器学习的两个核心任务如何优化训练数据 —> 主要用于解决欠拟合问题如何提升泛化性能 —> 主要用于解决过拟合问题只要单分类器的表现不太差，集成学习的结果总是要好于单分类器的目标：把下面的圈和方块进行分类实现过程（1）采样不同数据集（2）训练分类器（3）平权投票，获取最终结果。
《机器学习实战：基于Scikit-Learn、Keras和TensorFlow第2版》-学习笔记（6）：决策树
Morganfs的博客
05-05 1676
· Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 2nd Edition, by Aurélien Géron (O’Reilly). Copyright 2019 Aurélien Géron, 978-1-492-03264-9. · 环境：Anaconda（Python 3.8） + Pycharm · 学习时间：2022.05.04~2022.05.05 第六章 决策树
机器学习(32)之典型相关性分析(CCA)详解 【文末有福利......】
热门推荐
机器学习算法与Python学习
12-17 3万+
微信公众号关键字全网搜索最新排名【机器学习算法】：排名第一【机器学习】：排名第一【Python】：排名第三【算法】：排名第四人工智能与Python公开课限时免费文末领取前言典型关联分析(Canonical Correlation Analysis，简称CCA)是最常用的挖掘数据关联关系的算法之一。比如我们拿到两组数据，第一组是人身高和体重的数据，第二组是对应的跑步能力和跳远能力的数据。那么我们能不
gini impurity的相关内容
qq_42867453的博客
02-05 187
gini impurity 基尼杂质 公式： G(y)=1−∑1≤i≤n(p(i))2 G(y) =1-\sum_{\mathclap{1\le i\le n}} \def \foo {(p_{(i)})^2} \foo G(y)=1−1≤i≤n​∑​(p(i)​)2 n : 分为几类class p(i) ：第 i 类占样本总数的比例 gini impurity会随data的分布不均先增后减 例如：有两类数据A、B，数据总数14 A:0 B:14 G = 0 A:1 B:13 G = 0.13..
基尼不纯度简介 - Gini Impurity
studyvcmfc的专栏
06-21 469
https://www.cnblogs.com/jointech/p/12970187.html
（数据分析方法）相关性分析
junerli的博客
05-07 1万+
相关关系是指变量的数值之间存在着依存关系，即一个变量的数值 会随着另一个变量或几个变量的数值变化而呈现出一定的变化规律。很多时候，我们都需要分析数据之间的相关性，相关性分析是数据回归前提，具有相关性的数据可以进一步进行回归分析。在 客观现实中，许多现象之间都存在着某种相互关联的关系。例如，降雨 量与云层厚度之间的关系；居民收入增长率与物价指数的关系；人的身 高和体重的关系；汽车行驶速度与行驶里程之间的关系；圆的面积与圆 的半径之间的关系等。
[翻译转载] 基尼杂质(Gini Impurity)的简单介绍
zhang994125301的博客
04-19 3092
Gini Impurity——基尼杂质是什么，怎样应用于决策树Decision Tree 决策树Gini Impurity 基尼杂质/基尼不纯度/基尼系数例1: 整个数据范例公式化例2 完美划分方案例3 不完美划分方案选择最佳划分方案总结 本文翻译自Victor Zhou @victorczhou 的A Simple Explanation of Gini Impurity Decision T...
集体编程智慧（决策树）-Gini Impurity 公式推导
duanluyun的博客
08-25 743
集体编程智慧（决策树）-Gini Impurity 公式推导
Python三种方法计算皮尔逊相关系数以及实现给定数据集，返回数据集中每个特征和标签的相关系数
qq_26449287的博客
07-18 4430
特征预处理完之后，我们需要选择有意义的特征作为输入机器学习的算法和模型进行训练 在统计学中，皮尔逊相关系数( Pearson correlation coefficient），又称皮尔逊积矩相关系数（Pearson product-moment correlation coefficient，简称 PPMCC或PCCs）。用于衡量两个变量X和Y之间的线性相关相关关系，值域在-1与1之间。 详细...
【数据分析】数据分析之相关性，皮尔逊相关系数、肯达相关系数、斯皮尔曼相关系数三者的相同点、异同点与适用场景
在红尘中争渡
04-18 4667
相关性，皮尔逊相关系数、肯达相关系数、斯皮尔曼相关系数三者的相同点、异同点、适用场景及计算方式
信息增益、信息增益率、gini、特征选择、决策树
William Zhao's notes
05-04 2万+
先简单介绍一下概念 熵：表示随机变量的不确定性。 条件熵：在一个条件下，随机变量的不确定性。 信息增益：熵 - 条件熵。在一个条件下，信息不确定性减少的程度。通俗地讲，X(明天下雨)是一个随机变量，X的熵可以算出来， Y(明天阴天)也是随机变量，在阴天情况下下雨的信息熵我们如果也知道的话（此处需要知道其联合概率分布或是通过数据估计）即是条件熵。两者相减就是信息增益。原来明
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值