机器学习之各种算法

转载 2015年11月20日 15:51:49

根据算法的功能和形式的类似性,我们可以把算法分类,比如说基于树的算法,基于神经网络的算法等等。当然,机器学习的范围非常庞大,有些算法很难明确归类到某一类。而对于有些分类来说,同一分类的算法可以针对不同类型的问题。这里,我们尽量把常用的算法按照最容易理解的方式进行分类。

(1)回归算法:

 

回归算法是试图采用对误差的衡量来探索变量之间的关系的一类算法。回归算法是统计机器学习的利器。在机器学习领域,人们说起回归,有时候是指一类问题,有时候是指一类算法,这一点常常会使初学者有所困惑。常见的回归算法包括:最小二乘法(Ordinary Least Square),逻辑回归(Logistic Regression),逐步式回归(Stepwise Regression),多元自适应回归样条(Multivariate Adaptive Regression Splines)以及本地散点平滑估计(Locally Estimated Scatterplot Smoothing)。


(2)基于实例的算法
 

基于实例的算法常常用来对决策问题建立模型,这样的模型常常先选取一批样本数据,然后根据某些近似性把新数据与样本数据进行比较。通过这种方式来寻找最佳的匹配。因此,基于实例的算法常常也被称为“赢家通吃”学习或者“基于记忆的学习”。常见的算法包括 k-Nearest Neighbor(KNN), 学习矢量量化(Learning Vector Quantization, LVQ),以及自组织映射算法(Self-Organizing Map , SOM)。


(3)正则化方法


正则化方法是其他算法(通常是回归算法)的延伸,根据算法的复杂度对算法进行调整。正则化方法通常对简单模型予以奖励而对复杂算法予以惩罚。常见的算法包括:Ridge Regression, Least Absolute Shrinkage and Selection Operator(LASSO),以及弹性网络(Elastic Net)。


(4)决策树学习

决策树算法根据数据的属性采用树状结构建立决策模型, 决策树模型常常用来解决分类和回归问题。常见的算法包括:分类及回归树(Classification And Regression Tree, CART), ID3 (Iterative Dichotomiser 3), C4.5, Chi-squared Automatic Interaction Detection(CHAID), Decision Stump, 随机森林(Random Forest), 多元自适应回归样条(MARS)以及梯度推进机(Gradient Boosting Machine, GBM)。


(5)贝叶斯方法
 

贝叶斯方法算法是基于贝叶斯定理的一类算法,主要用来解决分类和回归问题。常见算法包括:朴素贝叶斯算法,平均单依赖估计(Averaged One-Dependence Estimators, AODE),以及Bayesian Belief Network(BBN)。

 (6)基于核的算法



基于核的算法中最著名的莫过于支持向量机(SVM)了。 基于核的算法把输入数据映射到一个高阶的向量空间, 在这些高阶向量空间里, 有些分类或者回归问题能够更容易的解决。 常见的基于核的算法包括:支持向量机(Support Vector Machine, SVM), 径向基函数(Radial Basis Function ,RBF), 以及线性判别分析(Linear Discriminate Analysis ,LDA)等。


(7)聚类算法



 聚类,就像回归一样,有时候人们描述的是一类问题,有时候描述的是一类算法。聚类算法通常按照中心点或者分层的方式对输入数据进行归并。所以的聚类算法都试图找到数据的内在结构,以便按照最大的共同点将数据进行归类。常见的聚类算法包括 k-Means算法以及期望最大化算法(Expectation Maximization, EM)。

(8)关联规则学习



关联规则学习通过寻找最能够解释数据变量之间关系的规则,来找出大量多元数据集中有用的关联规则。常见算法包括 Apriori算法和Eclat算法等。


(9)人工神经网络




人工神经网络算法模拟生物神经网络,是一类模式匹配算法。通常用于解决分类和回归问题。人工神经网络是机器学习的一个庞大的分支,有几百种不同的算法。(其中深度学习就是其中的一类算法,我们会单独讨论),重要的人工神经网络算法包括:感知器神经网络(Perceptron Neural Network), 反向传递(Back Propagation), Hopfield网络,自组织映射(Self-Organizing Map, SOM)。学习矢量量化(Learning Vector Quantization, LVQ)


(10)深度学习





深度学习算法是对人工神经网络的发展。 在近期赢得了很多关注, 特别是百度也开始发力深度学习后, 更是在国内引起了很多关注。   在计算能力变得日益廉价的今天,深度学习试图建立大得多也复杂得多的神经网络。很多深度学习的算法是半监督式学习算法,用来处理存在少量未标识数据的大数据集。常见的深度学习算法包括:受限波尔兹曼机(Restricted Boltzmann Machine, RBN), Deep Belief Networks(DBN),卷积网络(Convolutional Network), 堆栈式自动编码器(Stacked Auto-encoders)。


出处:http://blog.csdn.net/u013476464/article/details/39639373

MARS算法源代码

  • 2003年02月25日 00:00
  • 7KB
  • 下载

机器学习常见算法分类,算法优缺点汇总

机器学习无疑是当前数据分析领域的一个热点内容。很多人在平时的工作中都或多或少会用到机器学习的算法。本文为您总结一下常见的机器学习算法,以供您在工作和学习中参考。        机器学习的...
  • YCM1101743158
  • YCM1101743158
  • 2017年04月14日 12:08
  • 7380

白话机器学习算法(五)自组织映射SOM

聚类算法可以简化为一个找聚类中心的问题,比如k-means,而对于输入向量空间,找他的聚类中心,可以用统计学的方法,比如GMM,也可以用向量量化的方法。 自组织映射,可以理解为一种向量量化网络,相当于...
  • wangxin110000
  • wangxin110000
  • 2014年03月26日 10:19
  • 6036

系统学习机器学习之神经网络(四) --SOM

转自:http://blog.csdn.net/xbinworld/article/details/50818803,其实内容更多的是百度文库里叫《SOM自组织特征映射神经网络》这篇文章上的,博主增加...
  • App_12062011
  • App_12062011
  • 2016年12月05日 10:29
  • 7650

机器学习系列(11)_Python中Gradient Boosting Machine(GBM)调参方法详解

这篇文章详细地介绍了GBM模型。我们首先了解了何为boosting,然后详细介绍了各种参数。 这些参数可以被分为3类:树参数,boosting参数,和其他影响模型的参数。最后我们提到了用GBM解决问题...
  • yaoqiang2011
  • yaoqiang2011
  • 2016年09月25日 17:33
  • 36354

Gradient Tree Boosting (GBM, GBRT, GBDT, MART)算法解析和基于XGBoost/Scikit-learn的实现

1. 概要 Gradient Tree Boosting (别名 GBM, GBRT, GBDT, MART)是一类很常用的集成学习算法,在KDD Cup, Kaggle组织的很多数据挖掘竞赛中多次表...
  • yangliuy
  • yangliuy
  • 2017年03月16日 12:57
  • 3936

GBM数据挖掘算法

  • 2015年08月06日 20:54
  • 187KB
  • 下载

详细解释数据挖掘中的10大算法

在一份调查问卷中,三个独立专家小组投票选出的十大最有影响力的数据挖掘算法,今天我打算用简单的语言来解释一下。 一旦你知道了这些算法是什么、怎么工作、能做什么、在哪里能找到,我希望你能把这篇博文当...
  • neilol
  • neilol
  • 2015年09月07日 20:39
  • 1658

LightGBM算法的特别之处

自从微软推出了LightGBM,其在工业界表现的越来越好,很多比赛的Top选手也掏出LightGBM上分。所以,本文介绍下LightGBM的特别之处。 LightGBM算法在模型的训练速度和内存方面都...
  • ictcxq
  • ictcxq
  • 2017年12月06日 18:23
  • 254

GBM算法在预测上的应用(R语言)

提高预测模型的准确性(accuracy)有两个方法:一个是通过特征工程,一个是直接应用boosting算法。 目前有很多boosting算法:Gradient Boosting、XGBoost、Ada...
  • ma_junli123
  • ma_junli123
  • 2017年12月28日 14:15
  • 94
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:机器学习之各种算法
举报原因:
原因补充:

(最多只允许输入30个字)