数据挖掘的基本任务
数据挖掘的基本任务包括利用分类与预测,聚类分析,关联规则,时序模式,偏差检测,智能推荐等方法,帮助企业提取数据中蕴含的商业价值,提高企业的竞争力。
数据挖掘建模过程
- 定义挖掘目标
针对具体的数据挖掘应用需求,首先要明确本次挖掘目标是什么?系统完成后能达到什么样效果? - 数据取样
明确了需要进行数据挖掘的目标后,接下来就需要从业务系统中抽取一个与挖掘目标相关的样本数据子集。抽取数据的标准,一相关性,二可靠性,三有效性,而不是动用全部企业数据。衡量取样数据质量的标准: 1)资料完整无缺,各类指标项齐全。 2)数据准确无误,反应的都是正常状态下的水平
对获取的数据,可再此进行抽样操作(随机抽样,等距抽样,分层抽样,从起始顺序抽样,分类抽样)
- 数据探索
当我们拿到了一个样本数据集后,它是否达到我们原来设想的要求;样本中有没有什么明显的规律和趋势;有没有出现重未设想过的数据状态;属性之间有什么相关性;它们可区分成怎样的类别…都是要探索的内容。
4. 数据预处理
当采样数据维度过大时,要进行降维处理,缺失值处理等都是数据预处理要解决的问题
5. 挖掘建模
样本抽取完成并经预处理后,接下来要考虑的问题是:本次建模属于数据挖掘应用中的哪类问题(分类,聚类,关联规则,时序模式或者智能推荐),选用哪种算法进行模型构建?这一步是数据挖掘工作的核心环节
6. 模型评价常用的数据挖掘建模工具
(1)SAS
(2)IBM SPSS
(3) WEKA
(4)KNIME
还有很多不一一写了