cs229
文章平均质量分 88
silent56_th
大学生一枚,对机器学习、图像处理感兴趣,偶尔也会刷刷leetcode或者hihocoder。希望在这里可以和大家多多交流,互相学习。
展开
-
CS229课程笔记9:分类问题的Bias-Variance分解,经验风险最小化
基于least square的bias-variance分解十分常见 E(y^−y)2=E(y^−Eτy^+Eτy^−y)2=E(y^−Eτy^)2+E(y−Eτy^)2=Var(y^)+Bias2(y^,y)E(\hat y-y)^2 = E(\hat y-E_\tau\hat y+E_\tau\hat y-y)^2=E(\hat y - E_\tau\hat y)^2+E(y-E_\tau\h原创 2017-12-22 16:28:36 · 634 阅读 · 0 评论 -
CS229课程笔记12:EM算法及混合高斯的应用
Ng此部分先介绍了EM算法的步骤,然后证明了其一致递增性(收敛性),最后给出了应用于混合高斯的例子。机器学习的一种任务是求取某个显示变量xx的概率分布P(x;θ)P(x;\theta),但是鉴于P(x)P(x)不属于常见的易于表示的(例如指数型的变形)概率分布,无法通过简易的最大log-likelihood的方式求取。一种方式就是假设存在某种隐变量zz,P(x,z;θ)P(x,z;\theta)可以原创 2017-12-23 16:34:46 · 914 阅读 · 1 评论 -
CS229课程笔记13:Factor Analysis简介
Ng将FA作为EM算法隐变量是连续变量的例子进行介绍,讲了很多公式推导的过程;笔者仅介绍其原理以及构造。若我们假设数据是高斯分布N(μ,Σ)N(\mu,\Sigma),利用最大似然法(maximum likelihood)得到的估计值为 μ^=1m∑i=1mxiΣ^=1m∑i=1m(xi−μ^)(xi−μ^)T\hat \mu = \frac 1 m \sum_{i=1}^mx_i\\\hat原创 2017-12-24 14:23:35 · 763 阅读 · 0 评论 -
ESL读书笔记14章:无监督学习之SOM,PCA,NMF,FA,ICA,MDS,ISOMAP,Local MDS
笔者自己的理解,无监督学习是挖掘数据自身的分布,找出一种低维的具有代表性或者某种性质的子空间(流形)。SOM是一种加约束的k-means,既可以看做是寻找具有代表性的特征点,也可以看做是寻找具有代表性的二维流形曲面。PCA是非常经典的最小化投影误差的子空间,也可以看做最大化投影方差的子空间。NMF则是基于假设最大化似然的同时,限制基向量非负。FA也是寻找某种子空间,目的是得到uncorrelated原创 2017-12-31 18:09:23 · 2776 阅读 · 0 评论