这本笔记的参考书目和课程为:
《机器学习基础教程》:机械工业出版社
模式识别与机器学习(PRML)
统计学习方法:清华大学出版社,李航
Deep Learning:Ian Goodfellow,Yoshua Bengio,Aaron Counrville
斯坦福《机器学习公开课》吴恩达
之后的内容都是来源于这几本书的学习和一些反思,后面就不强调了。这里的机器学习默认是统计机器学习,后面也不再强调了。
一.统计学习方法概论
Ⅰ.背景
统计方法是从事物的外在数量上的表现去推断该事物可能的规律性。 科学规律性的东西一般总是隐藏得比较深,最初总是从其数量表现上通过统计分析看出一些线索,然后提出一定的假说或学说,作进一步深入的理论研究。当理论研究 提出一定的结论时,往往还需要在实践中加以验证。就是说,观测一些自然现象或专门安排的实验所得资料,是否与理论相符、在多大的程度上相符、偏离可能是朝哪个方向等等问题,都需要用统计分析的方法处理。
从1960年至1980年间,统计学领域出现了一场革命,要从观测数据对依赖关系进行估计,只要知道未知依赖关系所属的函数集的某些一般的性质就足够了。
60年代的四项发现:
Tikhonov, Ivanov 和 Philips 发现的关于解决不适定问题的正则化原则;
Parzen, Rosenblatt 和Chentsov 发现的非参数统计学;
Vapnik 和Chervonenkis 发现的在泛函数空间的大数定律,以及它与学习过程的关系;
Kolmogorov