梯度下降法是寻找目标函数（损失函数）最优解的方法，不管是损失函数的最大值还是最小值（本质上是求函数的极值点，而非最值点）。
应用之一为PCA，主要作用之一是去噪。PCA的目标是寻找与之前分布更加接近的降维方法。
如何找到让样本间距最大的轴？
首先需要定义样本之间的间距：使用方差。
使得降维后样本方差最大。
1. 将样本的均值为0
V
a
r
(
X
p
r
o
j
e
c
t
)
=
1
m
∑
i
=
1
m
∣
∣
X
p
r
o
j
e
c
t
(
i
)
−
X
‾
p
r
o
j
e
c
t
(
i
)
∣
∣
Var(X_{project})=\frac{1}{m}\sum _{i=1} ^m||X^{(i)}_{project}-\overline{X}^{(i)}_{project}||
Var(Xproject)=m1i=1∑m∣∣Xproject(i)−Xproject(i)∣∣
2. 目标函数
V
a
r
(
X
p
r
o
j
e
c
t
)
=
1
m
∑
i
=
1
m
(
X
(
i
)
⋅
w
)
2
最
大
Var(X_{project})=\frac{1}{m}\sum _{i=1}^m (X^{(i)}\cdot w)^2最大
Var(Xproject)=m1i=1∑m(X(i)⋅w)2最大
3. 梯度上升法
4. 向量化表示
4693
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
