![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
书籍
文章平均质量分 91
深度学习深度近视
间歇性踌躅满志
展开
-
3.ESL笔记:监督学习综述(3)——维度诅咒
高维情况下的局域方法 在上面两篇中,我们提到了,假如说样本的数据总量NNN非常大,那么我们用最近邻方法可以近似出一个最优函数,其等价于理论上的条件数学期望值。(注:具体的内容主要在第二篇里面)但是同时我们也知道我们一般没有那么大的数据集来满足这样的条件。 在这一篇里,我们会提到,当处理高维数据的时候,这种方法同样会失效。这种现象被称为维度诅咒(curse of dimensionality)。...原创 2018-03-15 00:42:51 · 781 阅读 · 0 评论 -
4.ESL笔记:线性回归方法(1)——线性模型&最小二乘
(注:上一篇读书笔记对应翻译到原文的章节2.5。笔者自己翻阅了一下2.6~2.9节的内容,觉得有点絮叨,而且翻译起来也不够直白清爽,所以打算跳过了。这一篇从原书第三章开始,阐述线性模型。笔者自己看完原书对应的内容觉得对最小二乘有更深的认识了,希望看到这篇文章的别人也如此。) 简介 线性模型一般假设回归模型E(Y|X)E(Y|X)E(Y|X)是输入X1,...,XpX1,...,XpX_1,...原创 2018-03-16 23:54:53 · 1728 阅读 · 0 评论 -
1.ESL笔记:监督学习综述(1)——从最小二乘和最近邻想开的
(中间跳过了几个例子,感兴趣的可以去看看原书) 变量类型与术语 对于常见的机器学习模型,我们的变量都有两种类型:定性(qualititative)以及定量(quantitative)的。举个例子,{金毛,哈士奇,腊肠}就属于定性的描述,各种数字类的输出,比如当天的气温,就属于定量化的描述。定性变量有时候也称作分类变量(categorical)或离散变量(discrete)。 根据我们的模...原创 2018-03-13 00:40:37 · 597 阅读 · 0 评论 -
2.ESL笔记:监督学习综述(2)——统计决策论&贝叶斯分类器
(注:笔者觉得这一篇里面的各种变量字母实在是比较繁杂,所以在开头稍微把里面用到的纷杂的变量再梳理一遍。) XXX: 一个ppp维随机变量; xxx: XXX的一次观测值; YYY: 一个1维的随机变量; yyy: YYY的一次观测值; xi,yixi,yix_i,y_i: (训练样本)里面的一个数据点,属于一次观测值; NNN:训练样本的总数; 所有带^^\hat{}标记的函数为我们的近似值,...原创 2018-03-14 09:48:58 · 409 阅读 · 0 评论 -
5.ESL笔记:线性模型与高斯-马尔科夫定理
统计学中有一个非常著名的结果:在所有线性无偏估计中,模型参数ββ\beta的最小二乘估计拥有最小的方差。不过事实上,使用参数的无偏估计并不一定是最好的。有时候我们可能需要采用有偏估计,比如脊回归。 我们考虑参数ββ\beta的一个线性组合θ=aTβθ=aTβ\theta = a^T\beta。举个例子,f(x0)=xT0βf(x0)=x0Tβf(x_0)=x_0^T\beta就属于这种形式。则a...原创 2018-03-30 10:47:38 · 5902 阅读 · 1 评论