机器学习理论知识
江河湖海times
这个作者很懒,什么都没留下…
展开
-
机器学习理论笔记(4)
高纬度的局部方法高维的数据相比于低纬度的来说,多了很多麻烦 。为了方便分析,我们假设是在p维单位超立方体中取样。如图,取一个占整个单位体积比例为rrr的样本,那么取样边长就是 ep(r)=r1pep(r)=r1pe_p(r)=r^{\frac 1 p} 那么如果样本空间维度是10,如果希望取样大小占总样本的1%,那么每一条边的平均取样边长度就是e10(0.01)≈0.63e1...原创 2018-07-09 22:21:48 · 466 阅读 · 0 评论 -
统计学习基础练习(Exercises for Overview of Supervised Learning)2
Exercises for Overview of Supervised Learning假设KKK-类,每一类都有一个相关联的目标tktkt_k,tktkt_k是一个第kkk个位置等于1,所有位置都是0的向量。如果y^y^\hat y中元素和为1,证明对y^y^\hat y中最大元素进行分类等价于计算最接近的目标mink∥tk−y^∥mink‖tk−y^‖\min_k\|t_k-\hat y...原创 2018-07-11 21:31:48 · 607 阅读 · 0 评论 -
机器学习理论笔记(1)
机器学习笔记(1)线性模型和做小二乘法Given input: XT=(X1,X2,…,Xp)XT=(X1,X2,…,Xp)X^T=(X_1,X_2,\dots,X_p) Predict output:YYY Via: Y^=β0^∑j=1pXjβj^(1.1)(1.1)Y^=β0^∑j=1pXjβj^\hat Y=\hat {\beta_0}\sum_{j=1}^pX_j\ha...原创 2018-07-07 15:20:23 · 223 阅读 · 0 评论 -
机器学习理论笔记(2)
最近邻方法训练集training set TT\mathcal T input xxx Y^(x)=1k∑xi∈Nk(x)yi2.1)(()(()Y^(x)=1k∑xi∈Nk(x)yi2.1)\hat Y(x)=\frac 1k \sum_{x_i\in N_k(x)}y_i\tag (2.1)原创 2018-07-07 15:30:01 · 188 阅读 · 0 评论 -
机器学习理论笔记(3)
统计决策理论Let X∈Rp,Y∈RX∈Rp,Y∈RX\in \mathbb R^p,Y\in \mathbb R Joint distribution,联合分布: Pr(X,Y)Pr(X,Y)Pr(X,Y) 我们希望找到一个函数f(X)f(X)f(X),对于给定的XXX来预测YYY。首先我们需要一个loss function 损失函数L(Y,f(X))L(Y,f(X))L(Y,f(X))...原创 2018-07-07 17:43:58 · 374 阅读 · 0 评论 -
The Elements of Statistical Learning-线性模型和最小二乘法(5)
考虑到整理的方便,后面每一个章节都放在一个文件中,然后想到哪写到哪线性模型和最小二乘法Input vector: XT=(X1,X2,…,Xp)XT=(X1,X2,…,Xp)X^T=(X_1,X_2,\dots,X_p)Predict Output: YYYBy the linear regression model: f(X)=β0+∑j=1pXjβjf(X)=β0+∑j=...原创 2018-07-28 00:38:38 · 371 阅读 · 0 评论