读《python 数据分析与挖掘实战》之一

数据挖掘的基本任务

数据挖掘的基本任务包括利用分类与预测,聚类分析,关联规则,时序模式,偏差检测,智能推荐等方法,帮助企业提取数据中蕴含的商业价值,提高企业的竞争力。

数据挖掘建模过程

  1. 定义挖掘目标
    针对具体的数据挖掘应用需求,首先要明确本次挖掘目标是什么?系统完成后能达到什么样效果?
  2. 数据取样
    明确了需要进行数据挖掘的目标后,接下来就需要从业务系统中抽取一个与挖掘目标相关的样本数据子集。抽取数据的标准,一相关性,二可靠性,三有效性,而不是动用全部企业数据。
    衡量取样数据质量的标准: 1)资料完整无缺,各类指标项齐全。 2)数据准确无误,反应的都是正常状态下的水平

对获取的数据,可再此进行抽样操作(随机抽样,等距抽样,分层抽样,从起始顺序抽样,分类抽样)

  1. 数据探索
    当我们拿到了一个样本数据集后,它是否达到我们原来设想的要求;样本中有没有什么明显的规律和趋势;有没有出现重未设想过的数据状态;属性之间有什么相关性;它们可区分成怎样的类别…都是要探索的内容。
    4. 数据预处理
    当采样数据维度过大时,要进行降维处理,缺失值处理等都是数据预处理要解决的问题
    5. 挖掘建模
    样本抽取完成并经预处理后,接下来要考虑的问题是:本次建模属于数据挖掘应用中的哪类问题(分类,聚类,关联规则,时序模式或者智能推荐),选用哪种算法进行模型构建?这一步是数据挖掘工作的核心环节
    6. 模型评价

    常用的数据挖掘建模工具

    (1)SAS
    (2)IBM SPSS
    (3) WEKA
    (4)KNIME
    还有很多不一一写了
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值