机器学习白板推导
无知书童
这个作者很懒,什么都没留下…
展开
-
机器学习-白板推导 P1
机器学习-白板推导 P1频率派VS贝叶斯派符号定义频率派贝叶斯派频率派VS贝叶斯派符号定义X:data→X=(x1  x2  ...  xN)N×PTθ:parameter=[x11x12⋯x1Px21x22⋯x2P⋮⋮⋱⋮xN1xN2⋯xNP]N×Px∼p(x∣θ)\begin{aligned}&...原创 2019-09-05 11:06:20 · 287 阅读 · 0 评论 -
机器学习-白板推导 P4_4 (逻辑回归)
机器学习-白板推导 P4_4逻辑回归公式方法逻辑回归公式SigmoidfunctionSigmoid functionSigmoidfunctionσ=11+e−z\sigma=\frac{1}{1+e^{-z}}σ=1+e−z1z→+∞,limσ(z)=1z \rightarrow +\infty,\lim \sigma(z)=1z→+∞,limσ(z)=1z→0,limσ(z...原创 2019-09-07 22:19:43 · 187 阅读 · 0 评论 -
机器学习-白板推导 P4_5 (高斯判别分析)
机器学习-白板推导 P4_5Gaussian Discriminant Analysis定义公式求值Gaussian Discriminant Analysis定义y^=argmaxy∈{0,1}p(y∣x)\hat{y} = \arg \max_{y \in \lbrace 0,1 \rbrace} p(y|x)y^=argmaxy∈{0,1}p(y∣x)借助贝叶斯定理:p(y∣...原创 2019-09-08 14:41:09 · 271 阅读 · 0 评论 -
机器学习-白板推导 P4_6 (朴素贝叶斯)
机器学习-白板推导 P4_6朴素贝叶斯 Naive Bayes Classifier思想动机公式朴素贝叶斯 Naive Bayes Classifier思想朴素贝叶斯假设(又名:条件独立性假设)最简单的概率图模型,有向图属性之间是相互独立的动机简化运算公式p(y∣x)=p(x,y)p(x)=p(y)p(x∣y)p(x)∝p(y)p(x∣y)p(y|x)=\frac{p(x,y)...原创 2019-09-08 15:20:37 · 107 阅读 · 0 评论 -
机器学习-白板推导 P5_1 (降维)
视频地址:https://www.bilibili.com/video/av32709936?from=search&seid=4590188259369011669原创 2019-09-08 15:42:45 · 134 阅读 · 0 评论 -
机器学习-白板推导 P5_2 (降维基础知识)
机器学习-白板推导 P5_2降维基础知识降维基础知识X=[x1x2...xN]T=[x1Tx2T⋮xNT]=[x11x12...x1px21x22...x2p⋮⋮⋱⋮xN1xN2...xNp]N∗pX=\begin{bmatrix} x_1 & x_2 &...& x_N \end{bmatrix}^T=\begin{bmatrix} x_1^...原创 2019-09-08 16:28:01 · 165 阅读 · 0 评论 -
机器学习-白板推导 P5_3 (PCA最大投影方差)
机器学习-白板推导 P5_3PCA 最大投影方向方法PCA 最大投影方向X=[x1x2...xN]T=[x1Tx2T⋮xNT]=[x11x12...x1px21x22...x2p⋮⋮⋱⋮xN1xN2...xNp]N∗pX=\begin{bmatrix} x_1 & x_2 &...& x_N \end{bmatrix}^T=\begin{bma...原创 2019-09-08 17:18:24 · 628 阅读 · 0 评论 -
机器学习-白板推导 P5_4 (PCA最小重构代价)
机器学习-白板推导 P5_4PCA最小重构代价PCA最小重构代价X=[x1x2...xN]T=[x1Tx2T⋮xNT]=[x11x12...x1px21x22...x2p⋮⋮⋱⋮xN1xN2...xNp]N∗pX=\begin{bmatrix} x_1 & x_2 &...& x_N \end{bmatrix}^T=\begin{bmatrix...原创 2019-09-08 20:43:09 · 809 阅读 · 0 评论 -
机器学习-白板推导 P5_5 (PCA SVD)
机器学习-白板推导 P5_5SVDSVDS=GKGTGTG=IK=[k10...00k2...0⋮⋮⋱⋮00...kp]k1≥k2≥...≥kpS=GKG^T \quad G^TG=I\quad K=\begin{bmatrix} k_{1} & 0 &...& 0 \\ 0 & k_{2} &...&am...原创 2019-09-09 14:42:51 · 195 阅读 · 0 评论 -
机器学习-白板推导 P5_6 (P-PCA)
机器学习-白板推导 P5_6 P-PCAP-PCAx∈Rpz∈Rqq<px \in R^p \quad z \in R^q \quad q<px∈Rpz∈Rqq<px,observe  datax,observe\;datax,observedataz,latent  variablez,latent...原创 2019-09-09 16:59:47 · 612 阅读 · 2 评论 -
机器学习-白板推导 P6_1 (SVM)
机器学习-白板推导 P6_1SVMSVMSVMSVMSVM有三宝:间隔、对偶、核技巧SVM={hard−margin    SVMsoft−margin    SVMkernel    SVM SVM= \begin{cas...原创 2019-09-10 14:43:51 · 164 阅读 · 0 评论 -
机器学习-白板推导 P4_3 (线性判别分析)
机器学习-白板推导 P4_3线性判别分析(Fisher判别分析)数据定义思想推导目标函数线性判别分析(Fisher判别分析)数据定义X=[x1x2...xN]T=[x1Tx2T⋮xNT]=[x11x12...x1px21x22...x2p⋮⋮⋱⋮xN1xN2...xNp]N∗pY=[y1y2⋮yN]N∗1X=\begin{bmatrix} x_1 & x_2 &am...原创 2019-09-07 17:16:10 · 357 阅读 · 0 评论 -
机器学习-白板推导 P4_2 (感知机)
机器学习-白板推导 P4_2感知机感知机思想:模型:f(x)=sign(wTx),x∈Rp,w∈Rpsign(a)={+1,a≥0−1,a < 0\begin{aligned}& f(x) = sign(w^Tx),x \in R^p,w \in R^p \\& sign(a) = \begin{cases} +1,...原创 2019-09-07 12:04:13 · 148 阅读 · 0 评论 -
机器学习-白板推导 P4_1 (线性分类背景)
机器学习-白板推导 4_1在机器学习中的两个门派:频率派 →\rightarrow→ 统计机器学习贝叶斯派 →\rightarrow→ 概率图模型统计机器学习的基础Linear Regression f(w,b)=wTx+bf(w,b)=w^Tx+b \qquadf(w,b)=wTx+b x∈Rpx \in R^px∈Rp线性回归有三个局限性:1.线性系数线性,最终分类结...原创 2019-09-07 08:37:29 · 148 阅读 · 0 评论 -
机器学习-白板推导 P2_1
机器学习-白板推导 P2概率知识补充高斯分布一维高斯分布:p维高斯分布:参数值公式推导参数有偏无偏推导概率知识补充高斯分布X:data→X=(x1  x2  ...  xN)N×pTxi∈Rpxi∼iidN(μ,Σ)θ=(μ,Σ)\begin{aligned}& X:data \right...原创 2019-09-05 14:41:55 · 212 阅读 · 0 评论 -
机器学习-白板推导 P2_2
机器学习-白板推导 P2_2多维高斯分布多维高斯分布p(x)=12πp2exp(−12(x−μ)TΣ−1(x−μ))p(x) = \frac{1}{{2 \pi}^{\frac{p}{2}} } \exp \left( - \frac{1}{2} (x - \mu)^T \Sigma^{-1 } (x - \mu) \right)p(x)=2π2p1exp(−21(x−μ)TΣ−1(...原创 2019-09-05 16:58:30 · 188 阅读 · 0 评论 -
机器学习-白板推导 P2_3
机器学习-白板推导 P2_3高斯分布的局限性高斯分布的局限性Σ\SigmaΣ参数个数为p(p+1)2=O(p2)\frac{p(p+1)}{2}=O(p^2)2p(p+1)=O(p2),参数过多不利于学习对Σ\SigmaΣ做简化:Σ\SigmaΣ->对角矩阵->λ1=λ2=...=λn\lambda_{1}=\lambda_{2}=...=\lambda_{n}λ1=λ2...原创 2019-09-05 19:17:08 · 142 阅读 · 0 评论 -
机器学习-白板推导 P2_4
机器学习-白板推导 P2_4已知高维高斯分布,求边缘概率分布和条件概率分布x=[x1x2⋮xp]μ=[μ1μ2⋮μp]Σ=[σ11σ12⋯σ1pσ21σ22⋯σ2p⋮⋮⋱⋮σp1σp2⋯σpp]p×px= \begin{bmatrix} x_{1} \\ x_{2} \\ \vdots \\x_{p} \end{bmatrix}\qquad\mu= \begin{bmatri...原创 2019-09-05 22:28:31 · 184 阅读 · 0 评论 -
机器学习-白板推导 P2_5
机器学习-白板推导 P2_5已知定理:已知: x∼N(μ,Σ)x \sim N(\mu, \Sigma)x∼N(μ,Σ), y=Ax+By=Ax+By=Ax+B结论:y∼N(Aμ+B,AΣAT)y \sim N(A\mu+B,A\Sigma A^T)y∼N(Aμ+B,AΣAT)E[y]=E[Ax+B]=AE[x]+B=Aμ+BE[y]=E[Ax+B]=AE[x]+B=A\mu+BE[y]=...原创 2019-09-05 23:10:16 · 781 阅读 · 0 评论 -
机器学习-白板推导 P2_6
机器学习-白板推导 P2_6Jensen's Inequality 杰森不等式常见用法Jensen’s Inequality 杰森不等式假设f(x)f(x)f(x)是convex function则E[f(x)]≥f(E(x))E[f(x)]\geq f(E(x))E[f(x)]≥f(E(x))因为f(x)f(x)f(x)是凸函数所以∀x,f(x)≥l(x)\forall x, f(x...原创 2019-09-05 23:32:47 · 156 阅读 · 0 评论 -
机器学习-白板推导 P3_1 (线性回归)
机器学习-白板推导 P3D={(x1,y1),(x2,y2)...(xN,yN)}D=\lbrace(x_1,y_1) ,(x_2,y_2) ...(x_N,y_N) \rbraceD={(x1,y1),(x2,y2)...(xN,yN)}xi∈Rp,yi∈R,i=1,2...Nx_i \in R^p, y_i \in R, i=1,2...Nxi∈Rp,yi∈R,i=1,2....原创 2019-09-06 10:03:56 · 187 阅读 · 0 评论 -
机器学习-白板推导 P3_2
机器学习-白板推导 P3_2概率角度概率角度D={(x1,y1),(x2,y2)...(xN,yN)}D=\lbrace(x_1,y_1) ,(x_2,y_2) ...(x_N,y_N) \rbraceD={(x1,y1),(x2,y2)...(xN,yN)}xi∈Rp,yi∈R,i=1,2...Nx_i \in R^p, y_i \in R, i=1,2...Nxi∈Rp,y...原创 2019-09-06 10:51:47 · 118 阅读 · 0 评论 -
机器学习-白板推导 P3_3
机器学习-白板推导 P3_3最小二乘估计:L(w)=∑i=1N∣∣wTxi−yi∣∣2L(w)=\sum_{i=1}^N||w^Tx_i-y_i||^2L(w)=∑i=1N∣∣wTxi−yi∣∣2目标:w^=argminL(w)\hat{w}=arg \min L(w)w^=argminL(w)w^=(XTX)−1XTY\hat w=(X^TX)^{-1}X^TYw^=(XTX)...原创 2019-09-06 11:19:44 · 117 阅读 · 0 评论 -
机器学习-白板推导 P3_4
机器学习-白板推导 P3_4频率角度:w^=argminJ(w)\hat{w} = arg \min J(w)w^=argminJ(w)J(w)=∑i=1N∣∣wTxi−yi∣∣2+λwTwJ(w) = \sum_{i=1}^N ||w^Tx_i - y_i||^2 + \lambda w^TwJ(w)=∑i=1N∣∣wTxi−yi∣∣2+λwTw贝叶斯角度:设:w∼N(0,...原创 2019-09-06 11:58:00 · 139 阅读 · 0 评论 -
机器学习-白板推导 P6_2 (SVM 模型求解 对偶)
机器学习-白板推导 P6_2SVM 模型求解 对偶问题primal problem 原问题dual problem 对偶问题SVM 模型求解 对偶问题primal problem 原问题带约束:{minw,b12wTws.t.    yi(wTxi+b)≥1,for∀i=1,2..N带约束: \begin{cases} \min_...原创 2019-09-14 19:34:24 · 224 阅读 · 0 评论