当大数据谈到这里,已经废话加有用的话一大堆。就离那一步实施还是差这一点距离。在上篇博客或以前的博客,我们谈到,我们的定位,是将传统数据挖掘的数据转移到达数据平台上去处理,去节省时间,节省资源。但问题是,当我们没有这么大的数据,或我们有这么大的数据,我们应该从哪一步入手。这就是我们接下来的几篇博客,要探讨的问题。也是大数据的核心:数据挖掘。从头至尾我们都脱离不了数据挖掘。其实从大学到现在一直都接触数据挖掘,但是我们不关心是什么是数据挖掘,我们关心的是我们如何通过数据挖掘过程中找到我们需要的东西,而我们更关心的是这个过程是什么?如何开始?
作为初学者的概念梳理是很有必要的。如果是大牛,这些博客就略过吧。总结的过程也是一个学习的过程,通过有章节的整理对目前正在的学习的内容做规整。在这个过程中我们会从具体的项目实施中去谈数据挖掘,中间会贯穿很多的概念,算法,业务转换,过程,建模等等。
我们列一下要谈论的话题:
1、什么是数据挖掘及为什么要进行数据挖掘?
2、数据挖掘在营销和CRM中的应用?
3、数据挖掘的过程
4、你应理解的统计学
5、数据描述与预测:剖析与预测建模
6、经典的数据挖掘技术
7、各类算法
8、数据仓库、OLAP、分析沙箱和数据挖掘
9、具体的案例分析
什么是数据挖掘?是知识发现、商业智能、预测分析还是预测建模。其实都可以归为一类:数据挖掘是一项探测大量数据以发现有意义的模式(pattern)和规则(rule)的业务流程。
这里谈到了发现模式与规则,其实就是一项业务流程,为业务服务。而我们要做就是让业务做起来显得更简单,或直接帮助客户如何提升业务。在大量的数据中找到有意义的模式和规则。在大量数据面前,数据的获得不再是一个障碍,而是一个优势。在现在很多的技术在大数据集上比在小数据集上的表现得更好——你可以用数据产生智慧,也可以用计算机来完成其最擅长的工作:提出问题并解决问题。模式和规则的定义:就是发现对业务有益的模