《Mining the massive data》 第一章 笔记

《Mining the massive data》 第一章 笔记

• 
  
• 数据挖掘的基本概念
  数据挖掘是数据“模型”的发现过程，e.g.统计建模
• 机器学习vs数据挖掘
  一些数据挖掘 方法中 使用了机器学习算法，如贝叶斯网络， SVM ， 决策树，隐马尔科夫模型etc。
  机器学习擅长的典型场景是人民对数据中的寻找目标一无所知，如推荐算法。但如果我们队挖掘的目标能够直接描述，机器学习算法并不高效。
• 数据建模的方法
  1） 数据汇总：对数据进行简洁的近似汇总描述。e.g. PageRank，聚类
  2）特征抽取：从数据中抽取特征，并忽略其他。e.g. 频繁项集，相似性
• 数据挖掘的统计限制
  

邦弗朗尼原理 （Bonferroni correction）
假设数据随机，计算所寻找事件的期望，如果该期望值显著高于你所希望找到的真实事件的数目，那么寻找到的结果都是臆造的，是统计的假象。

---

习题