数据挖掘与机器学习

数据挖掘一般是指从海量数据中提取出其中无法直接获取的信息。通过各种数据源，将信息整合，发掘其内在关系。数据挖掘一般来说有6类，分别是回归、分类、预测、关联分析、预测分析和异常检测。

回归：确定两种及以上变量之间相互依赖关系的一种方法。简单来说就是找到自变量和因变量之间的函数关系。根据变量的不同，可分为一元回归和多元回归；根据自变量和因变量之间的关系类型，可分为线性回归和非线性回归。

分类：根据事物表现的特征，对事物进行分类，常见有决策树、神经网络、贝叶斯。

预测：以现有的数据为基础，推出其内在规律，对未发生的情况进行预测，发现其内在规律，为人们进行决策提供了科学依据。

关联分析：用来发现描述数据中强关联特征的模式，简单来说就是挖掘出数据之间的关联强度。在超市购买商品，假设存在20种常被购买的商品，可以通过关联分析，计算出商品之间的关联关系，满足一定条件的即为频繁项集。也就是说购买的频率会足够大。

聚类分析：讨论大量无标签的样本，按照一定特征下对样本进行分类。主要是追求求其高相似度。常见有K-means聚类。

异常检测：通常统计数据中会出现离群点，比如一家公司所有人的工资，有一个重数为员工工资，但是会有董事长、经历的工资会较为异常，所以这类数据也十分有意义。

机器学习是计算机科学的一个领域，使用统计技术给计算机系统提供“学习的能力”，从一堆数据种找出其中规律（学习），然后运用到新数据中（预测），这样的规律叫模型。主要可以分为监督学习和无监督学习。监督学习是指人为定义标准并执行，主要有回归、分类两类。无监督学习是指计算机自己寻找其中规律，主要有聚类分析。

 机器学习框架，建立机器学习框架时，会用到很多python程序模块，常见的有Numpy、scikit-learn、matplotlib等。

机器学习框架一般存下以下几个步骤:

        1.数据加载

        2.模型选取

        3.模型训练

        4.模型预测

        5.模型评测

        6.模型保存

一般来说会将数据集分为训练集和测试集，一般为3：1，通过训练集得出最优模型，再再测试集进行模型预测。