常用机器学习算法分类概述

分类一

• 监督学习
  在监督式学习下，输入数据被称为训练数据，每组训练数据都有一个明确的标志或结果。在建立预测模型的时候，监督式学习建立一个学习过程，将预测结果与训练数据的实际结果进行比较，不断的调整预测模型，直到模型的预测结果达到一个语气的准确率。

常见算法是逻辑回归和反向传递神经网络

• 非监督式学习
  数据并不被特别标记，学习模型是为了推断出数据的一些内在结构

常见的是Apriori算法和K-means算法

• 半监督学习
  输入数据部分被标识，部分没有被标识，这种学习模型可以用来预测，但是模型首先需要学习数据的内在结构以便合理的组织数据来进行预测

分类二：根据算法的功能和形式的类似性

• 回归算法
  回归算法是师徒采用对误差的衡量来探索变量之间的关系的一类算法

常见算法：最小二乘法，逻辑回归，逐步式回归，多元自适应回归样条，本地散点平滑估计

• 基于实例的算法
  基于实力的算法常常用来对策略问题建立模型，这样的模型常常县选取一批样本数据，然后根据某些近似性把新数据与样本数据进行比较
  通过这种方式来寻找最佳的匹配
  基于实例的算法常常被称为赢家通吃学习或者基于记忆的学习

常见算法有KNN，学习矢量量化LVQ，自组织映射算法

• 正则化方法
  通常是回归算法的延伸，根据算法的复杂度对算法进行调整，正则化方法通常对简单模型予以奖励而对复杂算法予以惩罚

常见算法Lrudge rggression LASSO

• 决策树算法
  根据数据的属性采用树状结构建立决策模型，决策树模型常常用来解决分类和回归问题

常见算法：CART ID3 C4.5 CHAID 随机森林 MARS GBM

• 贝叶斯方法
  基于贝叶斯定力的一类算法，主要解决分类和回归问题

常见算法：朴素贝叶斯 平均单依赖估计 BBN

• 基于核的算法
  基于核的算法把输入数据映射到一个高阶的向量空间，在这些高阶向量空间里，有的分类或者回归问题能够更容易的解决

常见算法：支持向量机，径向基函数，线性判别分析

• 聚类算法
  聚类算法通常按照中心点或者分层的方式对输入数据进行归并
  所有聚类算法都试图找到数据的内在结构，以便按照最大的共同点将数据进行归类

常见的算法：K_means算法，EM

• 关联规则学习
  关联规则学习通过寻找能后解释数据变量之间关系的规则，来找出大量多元数据集中有用的关联规则

常见算法：Apriori和ECLAT

• 人工网络
  人工神经网络模拟生物神经网络，是一类模式匹配算法，通常用于解决分类和回归问题