(一)数据挖掘基础

1 概念

    从大量数据中挖掘隐含的、未知的、对决策有潜在价值的关系、模式和趋势,并利用这些知识和规则建立用于决策的模型,提供预测性决策支持的方法、工具和过程,就是数据挖掘

  • 分析报告一般是整个事件发生结束以后的总结(描述性)。
  • 统计分析能利用大量的历史样本来预测整个事件总体未来的走向(预测性概率)。
  • 数据挖掘则透过事件的表象发现隐藏在背后的蛛丝马迹,从而找到潜伏的规律以及看似无关事物之间背后的联系,用此来洞察未来(规范性)。
2 建模流程
  • 目标定义:任务理解,指标确定
  • 数据采集:抽样,数据质量,实时采集
  • 数据整理:探索,清洗,变换
  • 构建模型:发现,构建,验证
  • 模型评价:评价标准,多模型对比,优化
  • 模型发布:部署,重构
3 数据采集

    数据质量:

  • 数据完整,指标齐全
  • 数据准确:正常状态下采集

    抽样方式:

  • 随机抽样
  • 等距抽样
  • 分层抽样
  • 从起始顺序抽样
  • 分类抽样
4 建模工具
阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页