机器学习四 数据的差异性

最新推荐文章于 2022-06-29 21:24:05 发布
VIP文章 最新推荐文章于 2022-06-29 21:24:05 发布
阅读量1.3k 收藏
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zaqwsxedcd/article/details/75531383
版权

1、数据的差异性

      值域：在直方图分布中，值域的值为最大值与最小值相减后的所得值。

                  当我们向数据集中添加数据的时候，有时候会改变值域大小。

      四分位数（IQR）：公式IQR=Q3-Q1

                                        在绘制盒须图的时候经常用到。

                  Q1：前25%的数据集的中位数

                  Q3：后25%的数据集的中位数

                  Q2：数据集的中位数

                 不足：IQR不能满足对数据集信息的提取要求。

      方差（variance）：

<
最低0.47元/天 解锁文章
爱吃莴苣笋
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
可信机器学习期末作业.zip
12-25
正如预期的那样，GridSearch 模型沿着增大的均衡准确率（但也存在更大的差异问题）如下。这使数据科学家可以灵活地选择一个最适合应用环境的模型，取得均衡准确率与差异中的一个可以接受的平衡点。 同样我们在AUC与差异之间也可以选择一个可以接受的平衡点。 在Fairlearn提供的Dashboard中可以看到每个模型的accuracy/Precision等细节，能帮助我们选择适合的模型。 从某一方面（隐私、公平、对抗攻击、可解释等）入手，自行实现一个简单的可信机器学习算法（如基于SVM、决策树、神经网路、概率图模型等），课堂展示并简要介绍算法原理. ## 二、Job Background ​ 人工智能（AI）为改变我们分配信贷和处理风险的方式提供了一个机会，并创造了更公平、更包容的系统。人工智能可以避免传统的信用报告和评分系统，这有助于抛弃现有的偏见，使它成为一个难得的，改变现状的机会。然而，人工智能很容易朝另一个方向发展，加剧现有的偏见，创造出一个循环，加强有偏见的信贷分配，同时使贷款歧视更难找到。我们将通过开源模型Fairlearn来释放积极的一面，缓解偏见消极的一面。 ## 三、The experiment content - **涉及领域：** - 金融贷款方面的决策分析。我们分析的数据是原始数据经过人工简单处理过的，是为了展现准确性方面的悬殊差异。 - **机器学习任务：** - 二元性分类 - **机器学习公平任务：** - 使用Fairlearn metrics和Fairlearn dashboard来评估模型的公平。 - 使用Fairlearn中的改进算法来改进模型的公平水平。 - **性能指标：** - ROC曲线下的面积。 - 平衡过后的准确率。 - **公平指标：** - Equalized-odds difference. - **改进的算法:** - `fairlearn.reductions.GridSearch` - `fairlearn.postprocessing.ThresholdOptimizer` 数据集 https://archive.ics.uci.edu/ml/datasets/default+of+credit+card+clients 相关信息“ https://blog.csdn.net/Mrrunsen/article/details/122143494
Python机器学习笔记 使用scikit-learn工具进行PCA降维
weixin_30347335的博客
04-04 3012
　　之前总结过关于PCA的知识：深入学习主成分分析（PCA）算法原理。这里打算再写一篇笔记，总结一下如何使用scikit-learn工具来进行PCA降维。 　　在数据处理中，经常会遇到特征维度比样本数量多得多的情况，如果拿到实际工程中去跑，效果不一定好。一是因为冗余的特征会带来一些噪音，影响计算的结果；二是因为无关的特征会加大计算量，耗费时间和资源。所以我们通常会对数据重新变换一下，再跑模型。数...
机器学习（十）——支持向量机（SVM）
livan1234的博客
07-03 511
笔者是一个痴迷于挖掘数据中的价值的学习人，希望在平日的工作学习中，挖掘数据的价值，找寻数据的秘密，笔者认为，数据的价值不仅仅只体现在企业中，个人也可以体会到数据的魅力，用技术力量探索行为密码，让大数据助跑每一个人，欢迎直筒们关注我的公众号，大家一起讨论数据中的那些有趣的事情。 我的公众号为：livandata
使用Sklearn学习降维算法PCA和SVD
理科男同学
10-24 4999
1，概述 1.1，什么是维度？ 我们先来解释一下维度的概念。 对于数组和Series来说，维度就是功能shape返回的结果，shape中返回了几个数字，就是几维。索引以外的数据，不分行列的叫一维（此时shape返回唯一的维度上的数据个数），有行列之分叫二维（shape返回行x列），也称为表。一张表最多二维，复数的表构成了更高的维度。当一个数组中存在2张3行4列的表时，shape返回的是(更高维，行，列)。当数组中存在2组2张3行4列的表时，数据就是4维，shape返回(2,2,3,4)。 数组中的每
机器学习实战：利用随机森林回归树来预测不同经纬度的无线电电磁波
zzjcymbq的博客
06-29 897
学习笔记，仅供参考！Scikit-learn（以前称为scikits.learn，也称为sklearn）是一款免费的机器学习库 。它具有各种分类，回归和聚类算法，包括支持向量机，随机森林，梯度提升，k均值和DBSCAN，本文介绍了一个机器学习实战训练,利用随机森林回归树来预测不同经纬度的无线电电磁波...
数据应用流水线-数据应用
loki的博客
09-29 891
软件系统主要包括：算法与数据。 一切的根源都来源于数据，抛开业务流程，软件全生命周期只考虑一件事--数据存储于应用。 上图就是一个数据应用的全流程结构图。 数据源：代表着底层的数据存储。 数据接入：数据总线，支持对底层各类数据源的读写。 数据计算：支持数据的分布式批量加工计算。 数据服务：支持对数据加工后的数据提供API接口服务。 数据消费：实现数据的应用。 ...
[数据分析] [保姆级教程] 数据差异分析方法
weixin_45456178的博客
06-01 8648
当比较两组数据是否差异显著时，可用参数检验和非参数检验。因为参数检验会更加准确，所以一般会先用参数检验。不同的参数检验方法有不同的要求，如果不满足要求，可以对数据进行转换，如果转换后也无法达到要求，再用非参数检验。 数据检验方法无脑选择流程图 1. 参数检验 参数检验数据都要满足正态分布或近似正态分布 1.1 数据处理 1.1.1 检验数据是否符合正态分布 由于参数检验都要求数据符合正态分布，所以检查数据是否符合。常用的检测方法有两种，KS-检验和 SW-检验。如果检验结果
如何解决机器学习中数据不平衡问题
热门推荐
lujiandong1的专栏
09-25 2万+
这几年来，机器学习和数据挖掘非常火热，它们逐渐为世界带来实际价值。与此同时，越来越多的机器学习算法从学术界走向工业界，而在这个过程中会有很多困难。数据不平衡问题虽然不是最难的，但绝对是最重要的问题之一。 一、数据不平衡 在学术研究与教学中，很多算法都有一个基本假设，那就是数据分布是均匀的。当我们把这些算法直接应用于实际数据时，大多数情况下都无法取得理想的结果。因为实际数据往往分布得很不
浅谈机器学习之数据集构建
源码森林
01-14 2967
正如大家现在知道的，深度学习模型(DL)和机器学习模型(ML)是数据驱动型任务，在近乎完美的数据集面前，模型间的细微差异可以忽略。但要获得覆盖目标场景所有特征的样本，不仅要耗费巨大的人力物力，而且往往也无法得到满意的效果。那么如何确定模型需要的最佳数据规模，就显得尤为重要。收集样本后，如何按比例构建数据集也是一个问题。
查找两个数据集之间的数据差异
生活是一种态度
10-25 1179
<br /> <br />Declare @vSQL varchar(max)<br />Declare @vCols varchar(max)<br />Create Table vTable1 (id int, StudentID int, Dept varchar(10),BookID int)<br />Create Table vTable2 (id int, StudentID int, Dept varchar(10),BookID int)<br />Insert into vTable1<
Python机器学习项目开发实战_分析文本数据_编程案例解析实例详解课程教程.pdf
05-06
计算机擅长于用有限的多样性来理解结构死板的数据。然而，当我们用计算机处理非结构化的自由文本时，就会变得很困难。开发NLP应用程序是一种挑战，因为计算机很难理解隐含的概念，而且语言交流方式也有很多细微的...
温州大学黄海广教授机器学习特征工程PPT
06-07
温州大学黄海广教授机器学习特征工程PPT。 在原始数据集中的特征的形式不适合直接进行建模时，使用一个或多个原特征构造新的特征可能会比直接使用原有特征更为有效。特征构建：是指从原始数据中人工的找出一些具有...
基于机器学习的作物病害图像处理及病变识别方法研究
04-27
拓展了机器学习理论及其应用范畴，构造了基于机器学习的作物病变图像识别的数据结构和算法范形。最后，将提出的理论和设计方法应用于工厂化果园生产场景采集的苹果病害图像识别并进行算法级别实验验证，为面向深度...
机器学习中的权重学习与差分演化
01-15
机器学习是人工智能的核心研究问题,是计算机获得智能的根本途径。自从20世纪50年代人工智能学科建立以来,人们已经提出了大量的机器学习算法,如决策树、神经网络、支持向量机、K均值聚类及KNN算法等。而实际问题中的...
机器学习十二 误差原因与模型复杂度
二货胖纸的博客
08-01 5452
误差原因（Error）：用于测量模型性能的基本指标。 在模型预测中，模型可能出现的误差来自两个主要来源，即：因模型无法表示基本数据的复杂度而造成的偏差（bias），或者因模型对训练它所用的有限数据过度敏感而造成的方差（variance）。 偏差：准确率和欠拟合 如果模型具有足够的数据，但因不够复杂而无法捕捉基本关系，则会出现偏差。这样一来，模型一直会系统地错误表示数据，从而导致准
机器学习十 交叉验证
二货胖纸的博客
07-31 3030
交叉验证（Cross Validation） 定义（摘自百度百科）：交叉验证的基本思想是把在某种意义下将原始数据(dataset)进行分组,一部分做为训练集(train set),另一部分做为验证集(validation set or test set),首先用训练集对分类器进行训练,再利用验证集来测试训练得到的模型(model),以此来做为评价分类器的性能指标。 目的：为了获
机器学习十三 STD（标准差）在Numpy与Pandas中的不同
二货胖纸的博客
08-04 1816
在Numpy与Pandas中的标准差求法的不同在于ddof的不同。 ddof：贝塞尔（无偏估计）矫正系数。 在Pandas中的处理： DataFrame.std(axis=None, skipna=None, level=None, ddof=1, numeric_only=None, **kwargs) →它求的是样本无偏方差 在Numpy中的处理： numpy.
机器学习五 朴素贝叶斯与SVM
二货胖纸的博客
07-23 1703
0、散点图（scatter diagram）      通常应用于回归分析。散点图中的包含的数据越多，展示的效果更好。 1、朴素贝叶斯方法（Naive bayes）       这是一种基于贝叶斯定理与特征条件独立假设的分类方法。 from sklearn.naive_bayes import GaussianNB clf = GaussianNB() cl
机器学习 数据预处理方法
最新发布
09-25
在机器学习中，数据预处理是一项重要的任务，它可以帮助我们处理数据集中存在的问题，如数据缺失、数据不平衡和数据标准化等。以下是几种常见的机器学习数据预处理方法： 1. 数据清洗：通过检测和处理数据集中的异常值、噪声和错误数据，以确保数据的质量和准确性。 2. 数据缺失处理：对于存在缺失值的数据，可以使用插补方法（如均值、中位数、众数等）来填充缺失值，或者使用模型预测的方法来估计缺失值。 3. 数据平衡处理：当数据集中存在类别不平衡的情况时，可以采用欠采样（删除多数类样本）或过采样（复制少数类样本）等方法来平衡各个类别。 4. 特征选择：通过选择最相关的特征来减少数据集的维度，以提高模型的性能和训练效率。 5. 特征缩放：对于不同类型的特征，可以使用归一化或标准化等方法将其缩放到相同的范围内，以避免不同特征之间的量级差异对模型的影响。 6. 特征编码：将分类变量转换为数值型变量，以便于模型的训练和处理。 7. 异常值处理：对于存在异常值的数据，可以使用统计方法或基于模型的方法来检测和处理异常值。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值