和机器学习相关的“哲学”思考

这是2001年微软的一篇论文，论文中描述了四种算法的准确率和数据规模的关系，根据图中显示的数据量越大，准确率越高，而且数据量越大，算法之间的准确率差别也就越小。
那么引出一个问题：数据即算法？
数据：
数据非常重要。
数据驱动。
收集更多的数据。
提高数据质量。
提高数据的代表性。
研究更重要的特征。
算法为王？

AlphaGo与普通不同的是，他并没有输入大量的数据，却能做到智能化。但是这也不能说明有了算法就完全不需要数据，有些时候是可以仅通过算法去建立模型，但是如果我们以更加精准的数据辅以完美的算法，那么将更好发挥数据的作用。

奥卡姆的剃刀原则

简单的就是好的。
但是也引发了一个问题：在机器学习领域，什么叫简单？

没有免费的午餐定理

可以严格地推导出：任意两个算法，他们的期望性能是相同的。但是并不是说所有算法都是等价的，只能说具体到某个问题，有些算法可能更好。但没有一种算法，绝对比另一种算法好。
脱离具体问题，谈哪个算法是没有意义的。
在面对一个具体问题的时候，尝试使用多种算法进行对比试验，是必要的。