学习笔记——数据挖掘过程与方法 Data Mining

最新推荐文章于 2020-12-24 20:01:52 发布
最新推荐文章于 2020-12-24 20:01:52 发布
阅读量2.2k 收藏 4
点赞数 2
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Try_my_best51540/article/details/60470013
版权
本文介绍了数据挖掘的基本概念，与数据库技术的区别，详细阐述了数据挖掘的过程，包括数据收集、预处理、归约等步骤。讨论了不同类型的数据，如记录型、图表型和顺序型数据，以及数据挖掘任务，如预测和描述方法。文章还提到了数据挖掘面临的挑战，如高维数据、时间序列分析和移动环境下的挖掘。最后，提及了生物信息学、结果可视化和安全隐私问题。
摘要由CSDN通过智能技术生成

数据挖掘基本概念

  数据挖掘是一个从大规模数据集中提取隐含的、以前未知的、有潜在应用价值信息的非平凡过程。

 -Non-trivial extraction of implicit , previously unknown and potentially useful information from massive collection of data.  

与数据库技术的区别

 1.数据库技术：从大量的数据里找某个数据，或是简单的数据统计信息。  好比在草堆里找别针。
 2.数据挖掘找的不是一个已存在那里的信息。 好比是要设法搞清楚在草堆里有一根针，会造成什么样的后果。

数据挖掘过程


详细过程

  1. 了解应用领域，掌握相关先验知识以及应用的目标
  2. 收集并集成数据
  3. 对数据进行清洁和预处理
  4. 对数据进行归约和投影（发现有用特征，降维和变量约简）
  5. 确定适当的数据挖掘功能（总计、分类、回归、关联、聚类）
  6. 确定数据挖掘算法，并进行数据挖掘
  7. 对挖掘结果进行评估 
  8. 对挖掘结果进行解释：分析结果
  9. 应用发现的知识

数据挖掘的数据类型

记录型数据

矩阵数据
文本数据
事物型数据

图表型数据

基因图表
网页链接
社交网络
化学式结构数据

顺序型数据

序列化业务


基因序列数据

最低0.47元/天 解锁文章
mmmmmmonica
关注
专栏目录
《AI大模型开发笔记》——数据挖掘领域十大经典算法
qq837993702的博客
01-25 8588
数据挖掘是人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，作出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，作出正确的决策。然后使用第1步找到的频集产生期望的规则，产生只包含集合的项的所有规则，其中每一条规则的右部只有一项，这里采用的是中规则的定义。< span=“”>
数据挖掘：理论与算法学习笔记
最新发布
m0_52899614的博客
12-28 2008
后剪枝则是先从训练集中生成一棵完整的决策树，然后自底向上的考察每一个非叶结点，和预剪枝相反，如果将该结点对应的子树替换为叶结点能给决策树带来性能上的提升，则将该子树替换为叶结点。原理：根据特征的先验概率（训练样本分析得到的概率），利用贝叶斯公式计算出其后验概率（要分类对象特征的条件概率），选择概率值最大的类作为该特征所属的类。信息增益越大越好，即该属性的效能越高，越有区分度。Elman Network：此算法有一定的记忆性，通过之前的输入推出答案，输出不仅仅取决于当前的输入，还取决于之前的输入。
DATA MINING METHODS and APPLICATIONS
02-08
Edited by (2008 CRC) Kenneth D. Lawrence Stephan Kudyba Ronald K. Klimberg
Data Mining的十种分析方法
bluenight专栏
07-29 1980
 1.记忆基础推理法（Memory-Based Reasoning；MBR）　　记忆基础推理法最主要的概念是用已知的案例（case）来预测未来案例的一些属性（attribute），通常找寻最相似的案例来做比较。　　记忆基础推理法中有两个主要的要素，分别为距离函数（distance function）与结合函数（combination function）。距离函数的用意在找出最相似的案例；结合函
Data Mining Methods and Models
TopMVP
08-07 737
Provides an introduction into data mining methods and models, including association rules, clustering, K-nearest neighbor, statistical inference, neural networks, linear and logistic regression, and m
数据挖掘的流程及方法
bingbangx的博客
07-11 653
第一，获取数据； 第二，数据预处理； 目的：让数据适应模型，匹配模型的需求； 第三，特征工程； t 目的：1）降低计算成本；2）提升模型上限 第四，建模，测试模型并预测结果； 第五，上线，验证模型效果。 ...
数据挖掘（Data Mining）扫盲笔记
热门推荐
weixin_43320465的博客
12-24 1万+
知识框架来源：人工智能之数据挖掘 其他补充来源： 概述 数挖掘广义观点：一类深层次的数据分析方法 目的自动抽取隐含的、以前未知的、具有潜在应用价值的模式或规则等有用知识 方法：使用人工智能、机器学习、统计学和数据库等交叉学科领域方法 对象：大规模、不完全、有噪声、模糊随机的数据集。 核心过程： （1） 数据清理：消除噪声和删除不一致数据。 （2） 数据集成：将多种数据源组合在数据仓库。 （3） 数据选择：从数据库中提取与分析任务相关的数据。 （4） 数据变换：通过汇总或聚集操作把数据.
《Text Mining and Analytics》学习笔记——第五周
土豆洋芋山药蛋的博客
02-21 2144
第五周我们继续讨论“判别式”分类器在文本分类中的应用，还将讨论文本的观点和情感分析。 在上一周的学习中我们讨论了问题——怎样进行文本分类？并且讨论了生成式分类器，这周我们就先从判别式分类器讨论开始学习。 关于生成式分类器和判别式分类器的区别，大家可以查看这篇文章 判别式分类器 与生成式分类器不同的是，判别式分类器不需要知道联合概率分布，直接根据数据得到条件概率分布（具体可以看上...
数据挖掘方法和步骤
huobanjishijian的专栏
10-22 2027
针对数据挖掘过程中直接与数据相关的部分，SAS公司提出了SEMMA方法论，将数据挖掘的核心过程分为抽样（Sample）、探索（Explore）、修整（Modify）、建模（Model）、评估（Assess）几个阶段。 1.数据抽样 数据抽样就是从数据集中抽取具有代表性的样本，样本应该大到不丢失重要的信息，小到能够便于操作。 2.探索 使用可视化方法或主成分分析、因子分析、聚类等统计方法对数
data mining 聚类方法
11-10
包含多种聚类方法，对于了解聚类分析提供多种方法及实例
数据挖掘方法论及案例介绍_华为
07-06
数据挖掘方法论及案例介绍，华为的数据挖掘资料PPT，包含实际数据挖掘案例，比较好的参考学习资料
Oracle Data Mining 数据挖掘操作指南一
03-13
Oracle Data Mining 数据挖掘操作指南一
数据挖掘系统开发及OracleDataMining
10-29
数据挖掘技术目前主要应用于智能商务领域, 在石化领域中如何展开数据挖掘开发应用还有待研究。基 于Or acle Data Mining ( ODM ) 数据挖掘工具, 结合实例介绍了在石化企业中应用数据挖掘的系统方法和基本 过程。
数据挖掘思路
大公爵的博客
08-26 1012
1.数据取样标准： 可靠性，相关性，有效性。 抽取数据的常见方式有：随机抽样，等距抽样，分层抽样，从起始顺序抽样分类抽样。 2.数据探索： 异常值分析，缺失值分析，相关性分析和周期性分析等。 3.数据预处理： 数据筛选，数据变量转换，缺失值处理，坏数据处理，数据标准化，主成分分析，属性选择，数据规约等。 4.选择构建的模型： 分类，聚类，关联规则，时序模式或者智能推荐等。 5.模...
数据挖掘方法论-SEMMA
lpxuan151009的专栏
01-31 8582
SAS研究所不仅有丰富的工具供你选用，而且在多年的数据处理研究工作中积累了一套行之有效的数据挖掘方法论──SEMMA，通过使用SAS技术进行数据挖掘，我们愿意和你分享这些经验：_  Sample──数据取样_  Explore──数据特征探索、分析和予处理_  Modify──问题明确化、数据调整和技术选择_  Model──模型的研发、知识的发现_  Assess──模型和知
Data Mining：（3.1）分类过程
April_0911
07-04 1002
分类算法的通用流程以及相关的评价指标和评价方法
Data Mining 入门
QiwzDeBLOG的博客
06-14 1317
一、association 关联规则挖掘    一个事件与另一个事件之间的一来关系。    关联规则算法：Apriori 算法：首先从事件中寻找所有频繁出现的事件子集，然后再这些频繁事件子集中发现可信度比较搞的规则。二、聚类：聚类就是将数据对象划分成若干个子类，在同一类中的对象具有较高的相似度，而不同类中的对象差异较大。    聚类算法：划分方法、层次聚类方法    k-Means：把n个数据对象...
《数据挖掘概念与技术》第一章导论思维导图学习笔记
2. 数据挖掘的起源与发展：学习笔记会追溯数据挖掘的历史，从早期的统计分析、机器学习讲起，逐步过渡到如今的数据挖掘技术，反映这一领域的演进过程。 3. 数据挖掘的应用领域：这部分可能会列举数据挖掘在商业智能...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值