数据挖掘之关联分析四(连续属性处理)

处理连续属性

挖掘连续属性可能揭示数据的内在联系,包含连续属性的关联规则通常称作量化关联规则(quantitative association rule)。

主要讨论三种对连续数据进行关联分析的方法
1. 基于离散化的方法
2. 基于统计学的方法
3. 非离散化方法

基于离散化方法

离散化是处理连续属性最常用的方法,这种方法将连续属性的邻近值分组,形成有限个区间,例如,年龄属性可以形成如下区间
年龄 [12, 16), 年龄 [16, 20)……
离散化可以使用任意技术(如等区间宽度、等频率、等熵、或聚类)实现。

属性离散化一个关键参数时用于划分每个属性的区间。通常这个参数由用户提供,单可能会遇到下面问题
1. 如果区间太宽,则肯能因为缺乏置信度而丢失某些模式。

R1[16,20)=s=4.4%c=84.6%

尽管具有较高的支持度,但是因为较宽的区间导致规则的置信度都小于阈值。
2. 如果区间太窄,则可能因为缺乏支持度而丢失某些模式。
3. 当区间不合适时,可能导致有些规则被分裂成子规则,如果自规则的置信度和支持度都足够高,就可以通过聚类来恢复原来的规则,但是如果置信度或者支持度较低,则不能恢复原来的规则。

处理这些问题的一个方法是通过考虑邻近区间的每个分组,但是也会导致下面的计算问题
1. 计算开销大
2. 提取许多冗余规则,如

R3[16,20)=

R4[16,24)=

其中
  • 0
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
数据分析数据挖掘的步骤 数据挖掘主要包括以下⼏个步骤: 1、定义挖掘的⽬的 【⽬的】 清楚挖掘的⽬的是什么? 想要达到的⽬的是什么? 2、数据取样 【⽬的】抽取与挖掘⽬的相关的数据集 抽取数据标准 相关性 可靠性 完整性 有效性 3、数据探索 【⽬的】保证数据的质量,为模型质量打下基础 数据探索主要包括 异常值分析 缺失值分析 相关性分析 周期性分析 可以从数据质量分析和数据特征分析两个⾓度对数据进⾏探索 数据质量分析 【⽬的】数据质量分析的主要任务是检查原始数据中是否存在脏数据; 数据质量分析要求我们拿到数据后先检测是否存在缺失值和异常值; 脏数据主要包括 缺失数据 数据的缺失主要包括记录的缺失和记录中某个字段的缺失 缺失的处理分为删除存在缺失值的记录、对可能值进⾏插补和不处理3种情况 异常数据 异常值分析是检验数据中是否有录⼊错误以及含有不合常理的数据(eg:年龄超过130岁) 异常值分析常⽤的⽅法有:简单统计量分析、3delta原则、箱型图分析等 不⼀致数据 数据不⼀致性是指数据的⽭盾性、不形容性;(eg:由于电话号码更新没有同步,⼀个⽤户的电话号码在不同的数据集中有不同的值) 重复数据以及含有特殊符号(eg:# ¥ *)的数据 数据特征分析 【⽬的】数据特征分析要求我们在数据挖掘建模前,通过频率分析、对⽐分析、帕累托分析、周期分析、相关性分析等⽅法,对采集的样本 数据的特征规律进⾏分析,以了解数据的规律和趋势,为数据挖掘的后续环节提供⽀持 特征分析的⽅法 分布分析 分布分析能揭⽰数据的分布特征和分布类型,有定量数据的分布分析和定性数据的分布分析两种⽅式; 定量分布分析的主要思想是将数据按照某⼀特征数据的分布按照特定的"组宽"对数据进⾏分组,并统计组内数据的频率信息 定性分布分析的主要思想是按照样本的某个特征的不同取值对样本进⾏分类并统计其频率 对⽐分析 对⽐分析是指把两个相互联系的指标进⾏⽐较,特别适⽤于指标见的横纵向⽐较、时间序列的⽐较分析; 统计量分析 ⽤统计指标对定量数据进⾏统计描述,常从集中趋势(均值、中卫市、众数)和离散趋势(极差、标准差、变异系数、分位数间距) 两⽅⾯进⾏分析; 周期性分析 周期性分析是探索某个变量是否随着时间变化⽽呈现出某种周期性变化趋势 贡献度分析 相关性分析 分析两虚变量之间相关性程度的强弱 可以通过绘制散点图、绘制散点图矩阵、计相关系数的⽅法进⾏分析 4、数据预处理 【⽬的】 提⾼数据的质量 让数据更好的适应特定的挖掘技术和⼯具 数据预处理主要包括 数据清洗 数据集成 数据变换 数据规约 数据清洗 【⽬的】数据清洗主要是删除原始数据中⽆关数据、重复数据,平滑噪声数据,筛选掉与挖掘主题⽆关的数据,处理缺失值、异常值等 缺失值处理:删除记录、数据插补(均值、中位数、众数插补、固定值插补、最近邻差补、回归⽅法、插值法{拉格朗⽇插值法、⽜顿 插值法}等)和不处理3种 数据集成 【⽬的】将多个数据源合并存放在⼀个⼀致的数据存储中; 需要考虑实体识别和属性冗余问题; 数据变换 【⽬的】对数据进⾏规范化处理 【⽅法】简单函数变换、规范化(最⼩-最⼤规范化、零-均值规范化、⼩数定标规范化等)、连续属性离散化、⼩波变换 数据规约 【⽬的】产⽣更⼩但保持源数据完整性的新数据集 【⽅法】属性规约(通过属性合并来创建或删除或合并属性)、数值规约(通过选择替代的、较⼩的数据来减少数据量) 5、挖掘建模 【⽬的】分析本次建模属于数据挖掘应⽤种的哪类问题(分类、聚类、关联规则、事需模型或智能推荐等) 根据挖掘⽬标和数据形式可以建⽴分类与预测、聚类分析、关联规则、事需模型和偏差检测等模型 【⽅法】 分类与预测 聚类分析 关联规则 时序模型 离群点检测 6、模型评估 【⽬的】在多个模型中找出⼀个最好的模型 根据业务对模型进⾏解释和应⽤
数据挖掘》实验报告 目录 1。关联规则的基本概念和方法 1 1.1数据挖掘 1 1.1。1数据挖掘的概念 1 1.1.2数据挖掘的方法与技术 1 1.2关联规则 3 1.2.1关联规则的概念 3 1.2。2关联规则的实现--Apriori法 4 2.用Matlab实现关联规则 6 2.1Matlab概述 6 2.2基于Matlab的Apriori法 7 3.用java实现关联规则 11 3。1java界面描述 11 3.2java关键代码描述 14 4、实验总结 19 4.1实验的不足和改进 19 4.2实验心得 20 1。关联规则的基本概念和方法 1.1数据挖掘 1.1。1数据挖掘的概念 计机技术和通信技术的迅猛发展将人类社会带入到了信息时代。在最近十几年里, 数据库中存储的数据急剧增大。数据挖掘就是信息技术自然进化的结果。数据挖掘可以 从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的 ,人们事先不知道的但又是潜在有用的信息和知识的过程。 许多人将数据挖掘视为另一个流行词汇数据中的知识发现(KDD)的同义词,而另一些人 只是把数据挖掘视为知识发现过程的一个基本步骤。知识发现过程如下: ·数据清理(消除噪声和删除不一致的数据) ·数据集成(多种数据源可以组合在一起) ·数据转换(从数据库中提取和分析任务相关的数据) ·数据变换(从汇总或聚集操作,把数据变换和统一成适合挖掘的形式) ·数据挖掘(基本步骤,使用智能方法提取数据模式) ·模式评估(根据某种兴趣度度量,识别代表知识的真正有趣的模式) ·知识表示(使用可视化和知识表示技术,向用户提供挖掘的知识). 1.1。2数据挖掘的方法与技术 数据挖掘吸纳了诸如数据库和数据仓库技术、统计学、机器学习、高性能计、模式 识别、神经网络、数据可视化、信息检索、图像和信号处理以及空间数据分析技术的集 成等许多应用领域的大量技术。数据挖掘主要包括以下方法。 神经网络方法:神经网络由于本身良好的鲁棒性、自组织自适应性、并行处理、分布 存储和高度容错等特性非常适合解决数据挖掘的问题,因此近年来越来越受到人们的关 注。典型的神经网络模型主要分3大类:以感知机、bp反向传播模型、函数型网络为代表 的,用于分类、预测和模式识别的前馈式神经网络模型;以hopfield的离散模型和连续 模型为代表的,分别用于联想记忆和优化计的反馈式神经网络模型;以art模型、koh olon模型为代表的,用于聚类的自组织映射方法.神经网络方法的缺点是"黑箱"性,人们 难以理解网络的学习和决策过程. 遗传法:遗传法是一种基于生物自然选择与遗传机理的随机搜索法,是一种仿 生全局优化方法。遗传法具有的隐含并行性、易于和其它模型结合等性质使得它在数 据挖掘中被加以应用。sunil已成功地开发了一个基于遗传法的数据挖掘工具,利用该 工具对两个飞机失事的真实数据库进行了数据挖掘实验,结果表明遗传法是进行数据挖 掘的有效方法之一。遗传法的应用还体现在与神经网络、粗糙集等技术的结合上。如 利用遗传法优化神经网络结构,在不增加错误率的前提下,删除多余的连接和隐层单 元;用遗传法和bp法结合训练神经网络,然后从网络提取规则等。但遗传法的法 较复杂,收敛于局部极小的较早收敛问题尚未解决。 决策树方法:决策树是一种常用于预测模型的法,它通过将大量数据有目的分类,从 中找到一些有价值的,潜在的信息。它的主要优点是描述简单,分类速度快,特别适合大 规模的数据处理。 粗糙集方法:粗糙集理论是一种研究不精确、不确定知识的数学工具。粗糙集方法有 几个优点:不需要给出额外信息;简化输入信息的表达空间;法简单,易于操作。粗糙 集处理的对象是类似二维关系表的信息表。目前成熟的关系数据库管理系统和新发展起 来的数据仓库管理系统,为粗糙集的数据挖掘奠定了坚实的基础。但粗糙集的数学基础 是集合论,难以直接处理连续属性。而现实信息表中连续属性是普遍存在的.因此连续 属性的离散化是制约粗糙集理论实用化的难点. 覆盖正例排斥反例方法:它是利用覆盖所有正例、排斥所有反例的思想来寻找规则. 首先在正例集合中任选一个种子,到反例集合中逐个比较.与字段取值构成的选择子相容 则舍去,相反则保留。按此思想循环所有正例种子,将得到正例的规则(选择子的合取式 )。比较典型的法有michalski的aq11方法、洪家荣改进的aq15方法以及他的ae5方法。 统计分析方法:在数据库字段项之间存在两种关系:函数关系(能用函数公式表示的 确定性关系)和相关关系(不能用函数公式表示,但仍是相关确定性关系),对它们的分析 可采用统计学方法,即利用统计学原理对数据库中的信息进行分析。可进行常用统计(求 大量数据中的最大值、最小值、总

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值