(开始读ESL,写点笔记,不会像PRML那样抄书,只列不熟悉的点,尤其是偏频率派的。具体的内容翻书)
前言和第一章写了一些思想性的和导论性的东西,可以翻一翻
目录
2.3 最小二乘和最近邻
2.3.3 最近邻方法
- P15
k
k
kNN的有效参数effective number of parameters是
N
/
k
N/k
N/k个,其中
N
N
N是样本数
2.4 统计决策理论
- P19 当数据无穷时,knn收敛于 E ( Y ∣ X = x ) E(Y|X=x) E(Y∣X=x)
- P20 可加性模型additive models
的最优解是每个维度的knn,从而解决高维条件期望问题 - P21 贝叶斯分类器、贝叶斯阶bayes rate
2.5 高维的局部方法
- P22 维度灾难:三个现象
- P24 维度增加,偏差和方差哪个增长是不一定的,要看函数形式
- P24 线性回归的期望预测误差分析
2.6 统计模型,监督学习和函数近似
2.6.1 对联合分布 P ( X , Y ) P(X,Y) P(X,Y)的统计模型
- P28 可加误差模型additive error model
2.7 结构化回归模型
2.7.1 问题的困难
- P33 各向同性的邻域遇到维度灾难;解决维度灾难的方法不会要求邻域在各个方向同时小
2.8 限制性估计的种类
2.8.1 粗糙度惩罚和贝叶斯方法
- P34 三次光滑样条cubic smoothing spline
就是正则项,可以用MAP解释 - P34 投射寻踪回归regression pursuit regression)
2.8.2 核方法和局部回归
- P35 Nadaraya-Watson估计的导出
- P35 KNN看作核方法
2.8.3 基函数和字典方法
- P35 基函数(结点knots),这一块没看懂,可能需要第6章
- P36 径向基函数
- P36 字典方法dictionary methods
参考文献:
[1] Trevor Hastie, Robert Tibshirani, Jerome Friedman. The Elements of Statistical Learning, Second Edition
[2] ESL CN