机器学习总体认识

1. 机器学习是什么？
   机器学习可以认为是通过在大量的经验或者数据上施加运算，然后来提高完成某项任务，或者提高某系统的性能。这里的关键是经验数据，计算和性能。数据包括：训练数据（经验）和测试数据（模拟未来新数据）。计算包括：训练和预测（推断）。性能包括：训练性能和测试性能，我们多关注测试性能或者叫泛化性能。在确定性能指标的情况下，我们通过研究使用数据，或则如何计算来提高性能。
2. 机器学习能干什么？
   简单的说就是从一大堆数据中总结出一般规律，然后泛化到新数据上。所以属于归纳（induction）。而演绎（deduction）则是直接获得一般性规律，然后泛化到新数据上。
3. 机器学习怎么用？
   机器学习方法很多，但基本上都可以划分为三步。第一步：建立模型假设，第二步：模型求解。第三步：模型预测。在概率图模型中，第二步和第三步可以统称为推断（将模型参数看做随机变量）。我们的工作就是建立更加符合靠谱的模型，然后求解预测。什么是靠谱的模型？需要归纳偏好（inductive bias）。根据奥卡姆剃刀原则：如果多个假设与观察一直，选择最简单。
4. 机器学习的缺陷
   根绝没有免费午餐定理。任意的算法的期望性能都一样，包括瞎猜算法。但是这有一个前提，就是问题等概率出现。显然现实中并不符合，我们总是关注如何把某个机器学习方法应用到某个问题上，而不是期望解决所有问题。所以研究通用理论要有个度，或者不要有太多幻想。脱离具体问题，空泛的谈什么学习算法好毫无意义。