归纳偏置

    机器学习问题假定问题所有的可能解组成一个假设空间，机器学习问题就是搜索这个假设空间寻找最优假设的问题。不同的学习算法在搜索假设空间时，可能会按照某种特殊顺序对整个假设空间进行搜索，或者对假设空间作某些限制，仅对部分假设空间进行搜索。这些搜索过程的偏好称为归纳偏置。归纳偏置是机器学习的预先假定，是各种算法的本质区别。

    这些偏好是否合理成为影响搜索效果的关键因素。所谓合理就是就是偏好的设置反映了数据中固有的结构。

    因此，学习机器学习，至少有两个重要的方面。其一，了解各种算法的偏好设置，这有助于我们更清楚算法适合于哪种问题；其二，了解具体数据集合中存在的固有结构，这需要我们不断积累观察数据，了解数据，洞悉数据结构的经验。

    而从这个角度讲，机器学习理论的发展，也是尽量利用数据中存在的结构，寻找出合适的新的归纳偏置，以提高解决问题的速度和准确率。

    那么，机器学习高手，应该是对各种方法的掌握得臻于化境，而对潜在数据结构的洞悉得犀利敏锐。而大师，就是那些已经忘记了算法和数据结构的无招胜有招的高人了。

转载于:https://www.cnblogs.com/paley/archive/2012/09/14/2675132.html