数据挖掘笔记（1）

1）数据挖掘的一种定义
     是一项通过探测大量数据以发现有意义的模式和规则的业务流程。
     数据挖掘是一种业务流程，它以其它业务流程产生的大量数据为输入，一般经过收集，清洗，整理，识别、分析和度量等加工，得到某种有意义的模式或规则作为输出。而这种输出反过来可以为其它业务流程提供度量，判断，预测等作用。
     数据挖掘的基础是大量的数据，不同的挖掘方法和目的对于数据量的要求会有所不同，但一般而言，都是数据越多越好。对于数据挖掘而言，所有数据都是有用的，但对于某种具体的挖掘任务，就需要识别有效数据和无效数据，这就是数据清理的基本目的。
     数据挖掘的过程并不是单线的，很多时候都需要不停地迭代。
     发现有意义的模式和规则是数据挖掘的根本目的，这里的模式和规则可以是一种关联（比如身高和饮食，销量与季节等），趋势（比如人口增长趋势，销量趋势）。一般来讲，根据数据总可以找到一种模式或者规则（对于有限的样本数据总可以找到一种拟合函数），因此必须寻找有意义的模式或规则，这里的有意义是指可以给我们的其它业务过程提供“有用“的帮助。
     在数据挖掘过程中，每个环节其实都带有非常大的主观性，由于数据量大，数据维度多，数据所包含的信息取决于人的视角，要穷尽所有的可能是不现实的，因此取舍在数据挖掘过程中非常重要。正因为数据挖掘的特殊性，很多时候我们都希望能得到某种通用的模式。这当然是无可厚非的事情。但由于数据挖掘是基于历史数据，样本数据总是有限的，因此如果涉及到对未来的预测，那么在数据挖掘过程中就应始终保持对通用模式的警惕（放之四海而皆准的都应该警惕），同时也需要防止过渡拟合。

   
2）数据挖掘的一般过程
     A）识别业务机会
     数据挖掘的重点的是结果（得到有价值的信息），而不是利用先进的技术。识别业务机会是数据挖掘的任务定义过程。
     B）将数据转换为信息；
    将数据转换为信息就是数据挖掘的挖掘过程。数据的好坏对信息的获取有比较直接的影响，因为在挖掘过程中，需要花费大量的时间和精力来进行数据的清理和整理。为了减少这种成本，为数据挖掘而提供的数据应该有良好的数据格式（尽量结构化和标准化），尽可能多的维度（一般是越详细越好）。
     这从另外一个角度，也给业务或者产品的设计者，数据结构的设计者提出了更高的要求。
     C）根据信息采取行动；
     这是数据挖掘的根本目的。数据挖掘得到的信息应该得到应用。只有用了才能从实际中验证数据挖掘工作的好坏，挖掘策略是否有效。
     D）度量结果。
      对数据挖掘得到的信息通过实际应用进行检测，从而可以评价和改进挖掘过程。而且，通过应用产生的数据可以加入到新的挖掘过程中，对挖掘形成良性的促进。

3）需要注意的问题
      学习的东西不真实
      A） 模式不代表任何基本规则
             数据本身是没有好坏的，数据是中性的。但人们从数据获得的信息往往带有认知的主观性。比如我们认为月亮上有月兔，仅仅是因为有些像，但实际没有。
              数据不会说谎，理解（挖掘）会有偏差；说谎的人会玩弄数据；
      B） 模型集可能不反映相关的总体
             样本数据太少，样本数据不能很好的反映整体的情况下就会产生这种问题。比如1,1,2,3,5,8.看到这些数据，很容易认为是斐波纳契数列，如果这是商店的每天卖出的商品数，能用斐波纳契数列做商品的销售模型？显然不行的。
      C）数据的详细程度有误
            还是上面的例子，数据量太小，数据量太少，数据的详细程度太低，往往得不到所要的结果，还会产生误导。
      学习的东西无用
        包括两个方面，一是得出的东西众所周知，二是不能用，这个不能用可能是法律的，或者条件所限。