Quora上的大牛们最喜欢哪种机器学习算法?

Quora上的大牛们最喜欢哪种机器学习算法?

• 本文翻译自Quora。
  转载请注明作者及来源：
  群青 https://blog.csdn.net/qunqing_ml/article/details/54709009

---

Carlos Guestrin

亚马逊计算机科学机器学习教授，Dato公司ceo及创始人 （机器学习界国际公认大牛，Dato原名GraphLab，大数据分析云服务平台）

我并没有最喜欢的机器学习算法，但有一些比较青睐的，比如：

最简洁的算法：感知器算法(Perceptron)。
这种算法是Rosenblatt和他的同事们在20世纪50年代创造的。这个算法非常简单，但它是现在一些最成功的分类器的基础，包括支持SVM和逻辑回归，它们都使用了随机梯度下降法。感知器算法的收敛性证明是我在ML中见过的最优雅的数学过程之一。

最有用的算法: Boosting，特别是提高的决策树。
这种方法比较直观，可以结合许多简单模型来构建高精度ML模型。Boosting是ML中最具实践性的方法，在工业中得到了广泛的引用，可以用它处理相当广泛的数据类型，在数据规模上也没有太多限制。在实际过程中的提高树的可伸缩性应用上，我建议检查XGBoost。Boosting的证明过程也是非常优雅的。

卷土重来的算法：卷积神经网络深度学习。
这种神经网络算法在20世纪80年代早期开始流行。从90年代后期到2000年代后期，大家对这种算法的兴趣逐渐减弱，但在过去的5年里，这种算法出人意料的卷土重来。特别是，卷积神经网络建立了深度学习模型的核心，在计算机视觉和语音识别方面有巨大影响力。

最优美的算法:动态规划（Dynamic programming）（比如维特比, forward-backward, 变量消除以及belief propagation算法）。
在计算机科学中动态规划是最优雅的一种算法，是通过搜索一个指数型大的空间来找到可选的解决方案。这种方法在ML中已经得到了各种应用，特别是图形模型，如隐马尔可夫模型、贝叶斯网络和马尔可夫网络。

无与伦比的基准：邻近算法。
当我们想显示我们的曲线比别人好时，一个办法就是引入一个基准来证明自己的方法更加准确。邻近算法实现起来非常简单。我们总是觉得自己的算法可以轻易的超过邻近算法，但实际上很难！如果我们有足够的数据，邻近算法非常有效果，在实践中也是非常有用的。

---

François Chollet

谷歌深度学习研究专家，Keras作者

矩阵分解——一个简单而美丽的降维方法，而降维是认知的本质。
矩阵分解在推荐系统得到了很大应用。另一个应用是分解特征的互信息对的矩阵，或更为常见的逐点互信息。我从2010年开始处理视频数据的时候就开始用了。可用于特征提取、计算单词嵌入、计算标签嵌入(我最近的论文的主题就是这个)，等等。
在卷积中，矩阵分解是图像、视频的无监督特征的优秀的提取器。但有个问题，它从根本上来说是比较浅的算法。一旦监督标签可用，深度神经网络将很快超越它。

---

Yann LeCun

Facebook人工智能研究主管，纽约大学教授

Backprop，反向传播算法。

---

Ian Goodfellow

谷歌大脑高级研究员

我喜欢dropout，从一个简单模型中构建一个指数型的大集成是非常优雅的。在近似集成预测结果时，权重除以2的技巧效果很好。我不太理解在深度非线性模型中其效果如此好的理论原因，但它的效果真的很好。

---

Claudia Perlich

Dstillery首席科学家，纽约大学客座教授

毫无疑问，我最喜欢逻辑回归，包括随机梯度下降、特征散列以及惩罚。
在深度学习如此火爆的时代，我的这个回答肯定让人费解，来告诉你们原因：

1995年到1998年，我使用神经网络；1998年到2002年，我一般使用基于方法的树；从2002年以后，就开始慢慢使用逻辑回归了，还包括线性回归、分量回归、泊松回归等。2003年，我在Machine Learning上发表了一篇文章，使用 35个数据集（在那时这样的数据量还是比较大的）上，对比基于方法的树、基于逻辑回归分别得到的结果。

简要结论——如果信号噪声比较高，那么决策树效果更好。但如果有非常杂乱的问题，最好的模型的AUC小于0.8，那么逻辑回归的效果总是比决策树好。最终结果在意料之中，如果信号太弱，高方差模型就会失效。

所以这个试验说明了什么？我需要处理的问题类型是比较杂乱的，并且可预测性低。一般都是处于确定性（象棋？？）随机的条件下，像所谓的股票市场。根据数据不同，不同问题的可预测性也不同。这已经不简单是算法问题，而是对世界的概念表述。

我感兴趣的大多数问题非常类似于股市的某一个极端。深度学习在另一端效果非常好——比如判断图片中是否是一只猫。在不确定的问题中，偏差权衡仍然经常结束了更多的偏差，也就是，你希望得到一个简单的、非常受限的模型。这里就用到逻辑回归了。我发现，添加复杂特征来加强简单线性模型，比限制一个强大的高方差模型更容易。而每一次我赢过的数据挖掘比赛，我都使用了线性模型。

**除了性能比较好，线性模型还比较可靠、需要的控制更少，不过还要用随机梯度下降法和惩罚。**这些是很重要的，因为在工业上，我们根本不可能花3个月的时间来建立一个完美的模型。

最后，在线性模型上，我可以更好的理解一切如何运行。

---

Alex Smola

卡内基梅隆大学教授，1-Page首席科学家

可能大家都最喜欢感知器算法，由它发展出其他很多重要的算法，比如：

• 核函数方法（只是转换预处理）
• 深度网络（只是增加了更多的层）
• 随机梯度下降法(只改变目标函数)
• 学习理论（保证了更新）

感知器算法如下：
假设一个线性函数$f(x)=⟨w,x⟩+b$，我们要估计向量$w$和常数$b$，当得到分类$1$时，$f$为正数，得到分类$-1$时，$f$为负数。然后我们可以做如下步骤：
• 初始化$w$和$b$为零(或其他可能更好的值)；
• 继续遍历$(x,y)$，直到没有错误；
• 如果 $yf(x)<0$，那么更新 $w+=yx$，$b+=y$。
该算法是收敛的，所花时间长短取决于问题有多难，从技术上来讲就是将正数和负数集合分开的困难程度。但是解决所有的错误更重要。

---

Xavier Amatriain

前ML研究人员，目前在Quora带领工程师

我喜欢简单而灵活的算法。如果一定要选一个，我最喜欢集成（ Ensemble）算法，我个人认为它是“大师级别”。无论我们从哪个算法开始，总可以用集成算法来提高它。集成算法获得了Netflix奖，经常表现优异，也相对容易理解、优化和检查。

但如果要选一个“超级算法”，我选另一个——逻辑回归。逻辑回归很简单，但很有效并且有弹性，可以用在很多地方，包括分类、排序。

---

Thorsten Joachims

康奈尔大学教授，主要研究人类行为的机器学习

我目前使用的学习算法并不是我最喜欢的，因为它们都有一个缺陷。这些优异又重要的机器学习算法中，都有个巨大的帕累托边界。

事实上，基本的机器学习理论告诉我们，没有一个单独的机器学习算法可以很好的解决所有问题。如果训练样本相对比较少，又有非常高维的稀疏数据(例如按主题分类的文本)，可以使用一个正规化的线性模型，比如SVM或逻辑回归。但如果有大量的训练样本与低维的稠密数据(如语音识别、视觉)，可以使用深度网络。

---

##Ricardo Vladimiro
Miniclip 游戏分析和数据科学负责人
Miniclip，瑞士在线游戏公司，2015年被腾讯控股。

随机森林。学习随机森林对我来说是个非常享受的过程。最后的总体效果也很有意义。我觉得决策树实在是很可爱。对特征进行Bootstrap经常会让我惊叹。这真的很神奇。我觉得我对于随机森林已经有感情了，因为我在如此短短的时间内学到了很多东西。
Ps:我知道我对决策树的看法有点极端。