数据挖掘算法相关

一、相関概念

1、PCA主成分分析方法

降维技术，其目的在于以各变量的线性组合代替原有变量，生成的线性组合之间相互独立，数量少于原有变量，并包含有原变量大部分的信息，从而实现合理的特征归约

下边连接对PCA原理解释的挺好的（特征值分解-针对方阵的）

http://www.cnblogs.com/jerrylead/archive/2011/04/18/2020209.html

PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的

2、集成方法或元算法

即将不同的的分类器组合起来

3、回归算法与分类算法的区别

回归算法会预测出一个连续的值即具体数据，如预测房价、未来的天气情况等等，比较常见的回归算法是线性回归算法（LR）。另外，回归分析用在神经网络上，其最上层是不需要加上softmax函数的，而是直接对前一层累加即可。回归是对真实值的一种逼近预测。

而分类算法只能预测类别，通常结果为离散值。例如判断一幅图片上的动物是一只猫还是一只狗，分类通常是建立在回归之上，分类的最后一层通常要使用softmax函数进行判断其所属类别。分类并没有逼近的概念，最终正确结果只有一个，错误的就是错误的，不会有相近的概念。最常见的分类方法是逻辑回归，或者叫逻辑分类。

4、SVD奇异值分解-（针对非方阵的）

具体应用：做feature reduction的PCA，做数据压缩（以图像压缩为代表）的算法，还有做搜索引擎语义层次检索的LSI（Latent Semantic Indexing）等都与SVD奇异值分解有关系

奇异值的计算比较困难

二、相关算法

1、logistic回归

2、svm支持向量机

3、决策树

4、朴素贝叶斯

5、K-近邻

6、线性回归

三、weka实现

1、weka实现PCA降维

在 weka 的非监督属性过滤器的数据预处理功能中有Principal Components Filter过滤器实现数据集的特征归约，maxiumAttributes 表示要提取多少维度作为主成分，varianceCovered表示在用最大方差理论时保留一定百分比的主元（特征值）用于计算方差并排序提取不多于maxiumAttributes指定的主元作新的维度，可自定义累计方差贡献率作为阈值。