机器学习_论文笔记_1: A few useful things to know about machine learning

> 翻译总结by joey周琦

希望把自己阅读到的，觉得有营养的论文，总结笔记和自己想法，留给自己，也分享给大家。因为英文论文中一些专有，有难度的词句，会给出英文原文。

这篇文章总结了有关机器学习的12条重要，简单，明了的经验。本文面对分类问题总结，但不限于分类问题。

1. 学习=模型+评估+优化
   Learning = representation + evaluation + optimization。

   • representation（模型）: 对于一个学习算法选择一个模型，相当于选择一个分类器的集合，这个集合可称为假设空间，空间中的分类器被认为是可以学习的。常见的模型有：KNN, SVM, Naive Bayes, 逻辑回归LR, 决策树等等。
   • evaluation (评估): 也就是目标函数(cost function)或得分函数。常见的评估指标有, 准确率召回率，平方误差和，似然函数，后验概率等。
   • optimization (优化): 也就是优化算法。常见的优化算法有梯度下降法，高斯牛顿法，线性优化，二次优化等。
   • 课本中一般都是以模型来分章节讲解，但是评估与优化同等重要。

2. 泛化能力才是重要的（It’s Generalization that counts）

   • 数据要分为训练数据和测试数据，只提高训练数据的预测精度是不够，这样可能会造成过