公式推导
0ng
某跳动厂农民工
展开
-
局部保留投影(LPP)推导
个人笔记,非教程LPP是拉普拉斯特征图谱的线性近似。它寻求变换P来投影高维输入数据X进入一个低维子空间Y,可以保留输入数据的局部结构。线性变换P可以通过最小化目标函数来获得minP∑i=1N∑j=1N∣∣yi−yj∣∣2S(i,j)\min_P \sum_{i=1}^N\sum_{j=1}^N||y_i-y_j||^2S(i,j)Pmini=1∑Nj=1∑N∣∣yi−yj∣∣2S(i,j)其中S(i,j)S(i,j)S(i,j)的表达式为S(i,j)={e−∣∣xi−xj∣∣2t,当.原创 2020-08-21 12:47:55 · 1731 阅读 · 1 评论 -
核岭回归(Kernel Ridge Regression)推导
个人笔记,非教程最小二乘W=(XXT)−1XYTW=(XX^T)^{-1}XY^TW=(XXT)−1XYT岭回归W=(XXT+λI)−1XYTW=(XX^T+\lambda I)^{-1}XY^TW=(XXT+λI)−1XYT核岭回归W=(XXT+λI)−1XYTW=(XX^T+\lambda I)^{-1}XY^TW=(XXT+λI)−1XYTW=(κ(X,X)+λI)−1XYT=X(λI+κ(X,X))−1YTW=(\kappa(X,X)+\lambda I)^{-1}XY^T=X(\.原创 2020-08-21 11:16:07 · 1498 阅读 · 0 评论 -
KPCA推导
个人笔记,非教程PCACov(X)w=XXTw=λwCov(X)w=XX^Tw=\lambda wCov(X)w=XXTw=λwKPCA,左乘XTX^TXTXTCov(X)w=XTXXTw=λXTwX^TCov(X)w=X^TXX^Tw=\lambda X^TwXTCov(X)w=XTXXTw=λXTwκ(X,X)XTw=λXTw\kappa(X,X)X^Tw=\lambda X^Twκ(X,X)XTw=λXTw因为投影向量www是样本X的线性组合w=∑i=1Nαixiw=\sum_{i=.原创 2020-08-21 10:52:48 · 273 阅读 · 0 评论 -
2DPCA、(2D)2PCA公式推导
找到一个投影矩阵W,使数据X不用拉成一维就能投影得到低维表示YY=XWY=XWY=XW投影后的协方差矩阵S(Y)=YTY=WTXTXW=WTS(X)WS(Y)=Y^TY=W^TX^TXW=W^TS(X)WS(Y)=YTY=WTXTXW=WTS(X)W最大化tr(S(Y))maxtr(S(Y))=maxtr(WTS(X)W)\max tr(S(Y))=\max tr(W^TS(X)W)maxtr(S(Y))=maxtr(WTS(X)W)对S(X)特征值分解求前d个最大特征值对应的特征向量组成投原创 2020-08-15 12:31:51 · 492 阅读 · 0 评论 -
SVR推导
目标函数:minw,b12∣∣w∣∣2+C∑i=1l(ξi+ξi∗)s.t.{yi−<w,xi>−b≤ε+ξi<w,xi>+b−yi≤ε+ξi∗ξi,ξi∗≥0\min_{w,b}\frac12||w||^2+C\sum_{i=1}^l(\xi_i+\xi_i^*) \\ s.t. \begin{cases} y_i-<w,x_i>-b&\leq\varepsilon+\xi_i \\ <w,x_i&g.原创 2020-08-15 10:50:31 · 596 阅读 · 4 评论 -
最小二乘支持向量机(LSSVM)推导
LSSVM和SVM的区别就在于,LSSVM把原方法的不等式约束变为等式约束,从而大大方便了Lagrange乘子alpha的求解,原问题是QP问题,而在LSSVM中则是一个解线性方程组的问题。minw,b,eJ(w,e)=12wTw+12γ∑i=1Nek2\min_{w,b,e}J(w,e)=\frac 12 w^Tw+\frac 12\gamma\sum_{i=1}^{N}e_k^2w,b,eminJ(w,e)=21wTw+21γi=1∑Nek2s.t.  .原创 2020-07-20 20:56:27 · 2708 阅读 · 2 评论 -
PCA推导
Z:d×nZ: d\times nZ:d×nW:D×dW: D\times dW:D×dX:D×nX: D\times nX:D×nZ=WXZ=WXZ=WX目标:最大化投影后的方差maxw1n∑i=1n(zi−zˉ)2s.t.∣∣W∣∣2=I\max_w \frac1n \sum_{i=1}^n (z_i-\bar z)^2 \\s.t. ||W||^2=I \\wmaxn1i=1∑n(zi−zˉ)2s.t.∣∣W∣∣2=I解Tar=maxw1n∑i=1n(zi−zˉ)2=1原创 2020-07-06 16:15:37 · 167 阅读 · 0 评论 -
LDA推导
类内散度矩阵SW=∑i=1C∑j=1Mip(i,j)(xj(i)−μi)2S_W=\sum_{i=1}^{C}\sum_{j=1}^{M_i}p(i,j)(x_j^{(i)}-\mu_i)^2SW=i=1∑Cj=1∑Mip(i,j)(xj(i)−μi)2投影后的类内散度矩阵SW′′′=∑i=1C∑j=1Mip(i,j)(WTxj(i)−WTμi)2=∑i=1C∑j=1Mip(i,j)(WT(xj(i)−μi))2=∑i=1C∑j=1Mip(i,j)(WT(xj(i)−μi)(xj(i)−μ原创 2020-07-07 15:31:07 · 227 阅读 · 1 评论 -
最小二乘推导
X:D×NX:D\times NX:D×NY:d×NY:d\times NY:d×NW:D×dW:D\times dW:D×d最小化均方误差min(WTX−Y)2\min (W^TX-Y)^2min(WTX−Y)2min(WTX−Y)(WTX−Y)T\min (W^TX-Y)(W^TX-Y)^Tmin(WTX−Y)(WTX−Y)TL=(WTX−Y)(WTX−Y)T=WTXXTW−WTXYT−YXTW+YYT\begin{aligned}L&=(W^TX-Y)(W^TX-Y)^T \原创 2020-07-07 16:02:14 · 161 阅读 · 0 评论 -
SVM推导
将两类样本用以下超平面进行划分wTx+b=0w^Tx+b=0wTx+b=0让所有样本都划分正确wTx++b≥0,x+∈第一类数据,y+=+1w^Tx_++b\geq 0, x_+\in 第一类数据,y_+=+1wTx++b≥0,x+∈第一类数据,y+=+1wTx−+b≤0,x−∈第二类数据,y−=−1w^Tx_-+b\leq 0, x_-\in 第二类数据,y_-=-1wTx−+b≤0,x−∈第二类数据,y−=−1目标:找到最靠近划分超平面的数据xxx,xxx到划分超平面的距离ddd,原创 2020-07-14 12:54:25 · 139 阅读 · 0 评论 -
K-Means推导
对于每个样本xix_ixi,将其标记为距离类别中心最近的类别,即labeli=argmin∣∣xi−μj∣∣label_i=\arg \min ||x_i-\mu_j||labeli=argmin∣∣xi−μj∣∣目标minSSE=∑i=1K∑xj∈Ci(xj−μi)2=∑i=1K∑xj∈Ci(xjTxj−xjTμi−μiTxj+μiTμi)=∑i=1K(∑xj∈CixjTxj−∑xj∈CixjTμi−∑xj∈CiμiTxj+∑xj∈CiμiTμi)=∑i=1K(∑xj∈CixjTxj−原创 2020-07-14 13:44:34 · 853 阅读 · 0 评论