ISLR第一、二章学习笔记

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Half_open/article/details/54572749

ISLR第一、二章学习笔记

ISLR第二章

2.1 What Is Statistical Learning

2.1.1 Why Estimate f?

There are two main reasons that we may wish to estimate f:
- Prediction
- Inference

2.1.2 How Do We Estimate f?

  • Parametric Methods

    1. 大大降低了复杂度
    2. 可能和实际的函数关系并不匹配
    3. 一开始选择的模型对之后学习影响很大
    4. 适合观测值较少的情形
    
  • Non-parametric Methods

    1. 不需要猜测函数模型
    2. 需要大量观测数据,成本高
    3. 对观测值的错误率几乎为0(准确率高)
    4. 难以理解
    

2.1.3 The Trade-Off Between Prediction Accuracy and Model
Interpretability

  • Subset Selction Lasso(最难理解)
  • Least Squares
  • Generallized Additive Models Trees
  • Bagging,Boosting
  • SVM(最灵活)

越灵活越难以理解

more accurate,less fexible

做预测时,简单的不灵活模型更好用,因为只关心定性,不是定量

2.1.4 Supervised Versus Unsupervised Learning

大部分经典回归学习方法都是有监督类型的

Unsupervised Learning

划分,聚类

no associated response y

半监督式本书不讨论

2.2 Assessing Model Accuracy

2.2.1 Measuring the Quality of Fit

MSE:均方误差
test MSE越小越好

2.2.2 The Bias-Variance Trade-Off

MSE可以分解成三个非负项:
- 偏差 the variance of f ˆ(x0) 算法方面

度量了在面对同样规模的不同训练集时,学习算法的估计结果发生变动的程度。
(相关于观测样本的误差,刻画了一个学习算法的精确性和特定性:
一个高的方差意味着一个弱的匹配)

-方差 the squared bias of f ˆ(x0) 数据集方面

某种学习算法的平均估计结果所能逼近学习目标的程度;
(独立于训练样本的误差,刻画了匹配的准确性和质量:一个高的偏差意味着一个坏的匹配)

-噪声 the variance of the error variance (MSE下界)问题本身难度

任何学习算法在该学习目标上的期望误差的下界;( 任何方法都克服不了的误差)

训练充足后,训练数据的轻微扰动都会导致学习器发生显著变化,发生过拟合。
当方差和偏差加起来最优的点,就是我们最佳的模型复杂度。

K-Nearest Neighbors

If the Bayes decision boundary in this problem is highly nonlinear, 
then we would expect the best value for K to be small;

对于复杂边界的情况,K越大,可能错误率越高

所有的临近K值对结果点的影响效果是一样的,不管这个点离它有多远。而在实际应用中,我们可以采取附加权值的方法,放大临近点对结果的影响

相关

阅读更多
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页