林轩田《机器学习基石》笔记

整理下刚看完的《机器学习基石》，写个目录大纲，方便自己随时查阅。
笔记一：
机器学习的定义、应用场合、基本术语、流程图
笔记二：
①介绍了线性感知机模型（Perceptron）②对于线性可分，采用PLA算法，有详细推导③对于线性不可分，采用Pocket算法
笔记三：
介绍了机器学习的类型
笔记四：
①证明了机器学习的可行性②NFL定理③霍夫丁不等式
笔记五：
①更深入讨论机器学习的可行性②专有名词：Ein(g)、Eout(g)、h、g、f、M
③成长函数mH(H)④break point
笔记六：
理论推导：只要break point存在，机器学习就是可行的
笔记七：
VC Dimension：dvc = d + 1(d表示维度)
P11 dvc、Ein、Ω模型复杂度之间的关系
笔记八：
噪声的影响，噪声产生的原因及解决方法，关于权重的分布
笔记九：
线性回归：图解得到Eout - Ein ≈ 2(N+1) / N
笔记十：
逻辑回归，交叉熵误差
笔记十一：
①线性分类②随机梯度下降③软性分类④OVO与OVA
笔记十二：
对于非线性模型的处理方法：将非线性模型映射到另一空间，转换为线性模型
笔记十三：
产生过拟合(overfitting)的原因，解决的办法
笔记十四：
正则化（regularization），是解决过拟合的方法之一
笔记十五：
验证（validation），是解决过拟合的方法之一。Leave - One - Out、V - Fold、Cross
笔记十六：
机器学习的三大法则：
奥卡姆剃刀定理（Occam’s Razor）：如无必要，勿增实体
抽样偏差（Sampling Bias）：训练数据、验证数据独立同分布
数据探测法（Data Snooping）：不要偷窥原始数据

课后作业（附上大佬的链接）：
Python版：
https://blog.csdn.net/devil_bye/article/details/80752529
C++版：
https://blog.csdn.net/a1015553840/article/details/51085129