概念漂移学习笔记

最新推荐文章于 2023-02-07 10:01:04 发布
最新推荐文章于 2023-02-07 10:01:04 发布
阅读量1.5k 收藏 13
点赞数 3
文章标签： 机器学习 人工智能 大数据
原文链接：https://dl.acm.org/doi/pdf/10.1145/2523813
版权
概念漂移是指在线学习环境中输入和目标变量关系随时间变化的现象。本文探讨了适应性学习算法的重要性，特别是在数据分布变化时的处理。区分了真实概念漂移和虚拟漂移，并强调了在变化环境中预测模型所需具备的特性，包括检测和适应漂移、鲁棒性和资源效率。
摘要由CSDN通过智能技术生成

概念漂移 (Concept Drift) 指的是 “输入(input)” 和 “目标变量(target variable)” 之间的关系随着时间的流逝而产生变化的现象。（发生在“在线监督学习(online supervised learning)”场景中）

在概念漂移的研究领域中，存在着大量的概念以及术语混用现象，即表达同样或者相似的意义时，不同的概念和术语被使用，这给概念漂移的研究带来了明显的不便。对此，论文的作者在明确统一了文章的概念和术语的条件下，展开了研究。

1. 适应的学习算法

学习算法经常需要在无法预测改变的动态环境下操作。理想的性质就是他们具备合并新数据的能力。如果数据生成的过程不具备统计稳定性（像是发生在现实生活中的大多数），我们所需要预测的概念（变量）就会随着时间而改变。适应这种概念漂移的能力可以被视为一个逐例(example by example)学习预测模型的递增学习算法自然延伸。适应的学习算法(adaptive learning algorithms)可以被视为预先的递增学习算法，能够随着时间适应数据生成过程的演变。

p(y\mid X) = \frac{p(y)p(X\mid y)}{p(X)},

（稍后补充定义细节）

1.1 漂移的分类

·Real concept drift 

指的是 

最低0.47元/天 解锁文章
Раиса or Leslie
关注
  • 3
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
概念漂移的理解
ningyanggege的博客
04-16 2535
本质上来讲，就是数据分布会随着时间逐渐改变；
ConceptDrift-data:概念漂移实验的数据集
06-23
概念漂移数据 概念漂移实验的数据集 这是什么？ 此 repo 包含以下数据集： 5 个版本的 DBpedia 类别，所有文章都链接到它们 5 个版本的 DBpedia 本体，所有文章都链接到它们的类 数据集的 8 个版本，人口计数指向 HISCO 职业类别 来自134 个数据集（每个数据集有多个版本） 从检索和重建的 3 个数据集（每个数据集有多个版本） 维护者
Concept Drift（概念漂移）
weixin_40680322的博客
11-18 1239
Data Stream（流式数据） 特点：数据量大、实时性强。 举例：金融数据、交通数据等。 分类： 稳定的数据流：稳定独立同分布； 动态的数据流：不独立同分布，所以会产生概念漂移现象。 Concept Drift（概念漂移） 定义：模型要预测的目标变量 随着时间的推移 发生改变的现象。 举例：对金融衍生品价格预测。 【参考】 Concept Drift(概念漂移) ...
机器学习之概念漂移-concept drift
weixin_30344795的博客
03-07 1640
1. 概念漂移(concept drift) 　　背景：概念漂移指的是数据流中的潜在数据分布随时间发生不可预测的变化，使原有的分类器分类不准确或决策系统无法正确决策，常见于推荐系统、金融领域、决策等 　　　　Concept drift refers to unforeseeable changes in the underlying data distribution of data stre...
概念漂移简介
weixin_42267615的博客
08-10 8821
本文在总结文献的基础上进行一些个人的看法和分析。主要分为概念漂移的产生背景，概念漂移分类，概念漂移相关技术以及概念漂移的应用领域。
机器学习中的概念漂移（Aporia）
吃果冻不吐果冻皮
06-18 2168
随着机器学习模型成为自动化和预测任务越来越流行的解决方案，许多科技公司和数据科学家采用了以下工作范式：数据科学家负责解决特定问题，他们会得到可用相关数据的快照，他们致力于训练模型来解决它。 一旦模型经过测试，它就会进入生产阶段。最终，模型的性能开始下降，这通常是由于概念漂移。概念漂移是指目标变量（模型试图预测的内容）的统计特性随时间以不可预见的方式发生变化的情况。在视觉上，我们可以说概念是一种区分上图中蓝点和绿点的方法。 黑线表示将蓝点和绿点分开的概念。对于下面的定义，我们以下参数表示：漂移类型为了更好地理
ROS基础知识学习笔记（9）—Robot_Localization
01-20
ROS基础知识学习笔记第九篇主要关注的是`Robot_Localization`包的使用，这是一个在ROS（Robot Operating System）中用于机器人定位的重要工具。通过本教程，我们可以了解如何利用虚拟传感器，如虚拟里程计和虚拟激光...
器件简介学习总结笔记y
05-09
本学习笔记详细介绍了半导体材料的基本概念、PN结的特性和应用、MOS电容的工作原理、MOSFET的结构及关键参数，以及CMOS技术在数字逻辑门（如反相器）和存储器（如SRAM）中的应用。这些基础知识对于理解现代电子设备...
aix hacmp学习笔记
06-10
《AIX HACMP技术详解》 AIX操作系统下的高可用性集群管理程序(High Availability Cluster Multiprocessing，简称HACMP)是IBM提供的...通过持续的学习和实践，我们可以更好地应对可能出现的问题，保障业务的连续运行。
高手经验！模拟技术学习笔记40条.docx
09-13
在模拟技术的学习中，了解和掌握基础元件的特性和应用是至关重要的。下面是一些关键知识点的详细解析： 1. **同相放大电路与反相放大电路**：同相放大电路中，输入信号与输出信号相位相同；反相放大电路则会改变...
流数据概念漂移的检测算法
01-14
<p>鉴于流数据具有实时、连续、有序和无限等特点, 使用近似方法便可检测连续分时段的流数据序列, 基于此,<br> 运用目标分布数据, 结合相似分布理论, 提出了利用Tr-OEM 算法对流数据中的概念漂移现象进行检测. 该算法能够<br> 动态地判断流数据概念漂移的发生, 自适应地优化概念漂移的检测值, 适用于不同类型的流数据. 通过分析和实验仿<br> 真可以表明, 该算法在处理流数据概念漂移时具有较好的适应性.</p>
771-A Survey on Concept Drift Adaptation.pdf
03-29
Concept drift primarily refers to an online supervised learning scenario when the relation between the input data and the target variable changes over time. Assuming a general knowledge of supervised learning in this paper we characterize adaptive learning process, categorize existing strategies for handling concept drift, discuss the most representative, distinct and popular techniques and algorithms, discuss evaluation methodology of adaptive algorithms, and present a set of illustrative applications. This introduction to the concept drift adaptation presents the state of the art techniques and a collection of benchmarks for researchers, industry analysts and practitioners. The survey aims at covering the different facets of concept drift in an integrated way to reflect on the existing scattered state-of-the-art
模拟电路学习笔记（40条总结，必须收藏）.docx
09-02
以下是对模拟电路学习笔记中的关键知识点的详细解释： 1. 同相放大电路与反相放大电路：同相放大电路的输入电压与输出电压方向相同，而反相放大电路则相反。反相放大电路中的"虚地"概念意味着输入端的一个端点被视...
模电学习资料笔记PDF版文档来源博主：NONO.97
最新发布
05-21
### 模电学习资料笔记概览 #### 半导体的基本知识 - **基本概念**：半导体材料在电子技术中占据核心地位。本章节首先介绍了半导体的基础知识，包括其定义、分类（例如硅和锗）、以及它如何通过掺杂成为P型或N型...
IBM机器学习
02-09
IBM机器学习是一个涵盖广泛的主题，它涉及到IBM在数据科学、人工智能和预测分析领域的技术与解决方案...通过这样的学习，不仅可以掌握机器学习的基本概念和技术，还能了解到IBM的工具和服务如何在实际项目中发挥作用。
机器学习应用方向(二)～概念漂移(concept drift)
天狼啸月1990的博客
04-15 2731
1. 概念漂移(concept drift) 　　背景：概念漂移指的是数据流中的潜在数据分布随时间发生不可预测的变化，使原有的分类器分类不准确或决策系统无法正确决策，常见于推荐系统、金融领域、决策等 　　　　Concept drift refers to unforeseeable changes in the underlying data distribution of data stre...
「吉光片羽：文献阅读记录」Adaptive Watermarks: A Concept Drift-based Approach for Predicting Event-Time Progress
Li_DeSheng的博客
03-02 630
本文提出了一种自适应水印生成策略并在Apache Flink中实现
（concept drift）第一次小报告
经管与EE复合奇葩专业的专栏
10-09 1202
//2014年10月9日 //主要shixiang
面向概念漂移数据流的自适应分类算法
罗伯特技术屋
02-07 292
数据集上的分类准确率和累计分类准确率.从图7中可以看出7种算法均能在面对概念漂移时更新分类器，从而适应新概念，但ROSELM，OSELM，NB这3种算法表现较差.而从图8的分类准确率中可以看出，当发生概念漂移后，AOSELM算法相比另外2种同样具有遗忘机制的FGROSELM和FROSELM算法能够更快地适应概念漂移，分类性能也能在概念漂移发生后更快反弹.从累计分类准确率中可以看出，AOSELM算法具有更好的分类性能，分类准确率比FGROSELM和FROSELM这2种算法提高了大约2.5%.
scikit-multiflow概念漂移检测
07-17
scikit-multiflow是一个用于处理数据流的Python库，它提供了多种概念漂移检测方法。概念漂移检测是在数据流中检测到概念漂移（即数据分布的突变）的过程。 在scikit-multiflow中，你可以使用以下方法进行概念漂移检测： 1. ADWIN: ADWIN是一种经典的概念漂移检测算法，它基于窗口大小的调整和统计指标来判断概念漂移。你可以使用`ADWIN`类来执行ADWIN算法。 2. DDM: DDM（Drift Detection Method）是另一种常用的概念漂移检测算法，它基于错误率的变化来判断概念漂移。你可以使用`DDM`类来执行DDM算法。 3. EDDM: EDDM（Early Drift Detection Method）是一种快速检测概念漂移的算法，它通过动态调整窗口大小和错误率来尽早地检测到漂移。你可以使用`EDDM`类来执行EDDM算法。 除了以上方法，scikit-multiflow还提供了其他一些概念漂移检测算法，如HDDM（Hoeffding's Drift Detection Method）和PH（Page Hinkley）。你可以根据具体需求选择适合的概念漂移检测方法，并使用相应的类来执行检测。 以下是一个使用scikit-multiflow进行概念漂移检测的示例代码： ```python from skmultiflow.drift_detection import ADWIN # 创建ADWIN实例 adwin_detector = ADWIN() # 模拟数据流 data_stream = [0, 1, 0, 0, 0, 1, 1, 1, 0, 0] # 检测概念漂移 for i, data in enumerate(data_stream): adwin_detector.add_element(data) if adwin_detector.detected_change(): print(f"概念漂移在位置 {i} 检测到！") ``` 在上述示例代码中，我们首先创建了一个ADWIN实例`adwin_detector`。然后，我们模拟了一个数据流`data_stream`，其中包含了一些概念漂移。 接下来，我们使用`add_element`方法将数据逐个添加到ADWIN实例中，并使用`detected_change`方法检测概念漂移。如果检测到概念漂移，我们打印出相应的信息。 需要注意的是，这只是一个简单的示例，实际使用时你可能需要根据具体需求进行更复杂的设置和处理。你可以参考scikit-multiflow的文档和示例代码来了解更多关于概念漂移检测的用法和技术细节。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值