ESL第二章Overview of Supervised Learning knn有效参数、统计决策理论/贝叶斯分类器/贝叶斯阶、维度灾难、可加误差模型、三次光滑样条/核方法/基函数/字典方法

（开始读ESL，写点笔记，不会像PRML那样抄书，只列不熟悉的点，尤其是偏频率派的。具体的内容翻书）

前言和第一章写了一些思想性的和导论性的东西，可以翻一翻

2.3 最小二乘和最近邻

2.3.3 最近邻方法

• P15 $k$NN的有效参数effective number of parameters是$N/k$个，其中$N$是样本数
  

2.4 统计决策理论

• P19 当数据无穷时，knn收敛于$E(Y|X=x)$
• P20 可加性模型additive models
  
  的最优解是每个维度的knn，从而解决高维条件期望问题
• P21 贝叶斯分类器、贝叶斯阶bayes rate

2.5 高维的局部方法

• P22 维度灾难：三个现象
• P24 维度增加，偏差和方差哪个增长是不一定的，要看函数形式
• P24 线性回归的期望预测误差分析

2.6 统计模型，监督学习和函数近似

2.6.1 对联合分布$P(X,Y)$的统计模型

• P28 可加误差模型additive error model
  

2.7 结构化回归模型

2.7.1 问题的困难

• P33 各向同性的邻域遇到维度灾难；解决维度灾难的方法不会要求邻域在各个方向同时小

2.8 限制性估计的种类

2.8.1 粗糙度惩罚和贝叶斯方法

• P34 三次光滑样条cubic smoothing spline
  
  就是正则项，可以用MAP解释
• P34 投射寻踪回归regression pursuit regression)

2.8.2 核方法和局部回归

• P35 Nadaraya-Watson估计的导出
  
• P35 KNN看作核方法

2.8.3 基函数和字典方法

• P35 基函数（结点knots），这一块没看懂，可能需要第6章
• P36 径向基函数
• P36 字典方法dictionary methods

参考文献：
[1] Trevor Hastie, Robert Tibshirani, Jerome Friedman. The Elements of Statistical Learning, Second Edition
[2] ESL CN