python sklearn 梯度下降法_Python- sklearn之梯度下降算法原理

在课程中用到了许多公式，罗列一下。嗯，部分公式的证明很简单，部分难的证明我也不会，也懒得去细想了，毕竟感觉上数学对于我来说更像是工具吧。

转置相关：

• (AT)T = A

• (AB)T = BT AT

• (A + B)T = AT + BT

迹相关：

• For A ∈ Rn×n, trA = trAT .

• For A, B ∈ Rn×n, tr(A + B) =trA + trB.

• For A ∈ Rn×n, t ∈ R, tr(tA) = t trA.

• For A, B such that AB issquare, trAB = trBA.

• For A, B, C such that ABC issquare, trABC = trBCA = trCAB。 当乘法变多时也一样，就是每次从末尾取一个矩阵放到前面去，这样的矩阵乘法所得矩阵的迹是一致的。

秩相关

• For A ∈ Rm×n,rank(A)≤ min(m, n). If rank(A) = min(m, n), 则A称为满秩

• For A ∈ Rm×n,rank(A) = rank(AT).

• For A ∈ Rm×n, B ∈ Rn×p,rank(AB)≤ min(rank(A), rank(B)).

• For A, B ∈ Rm×n,rank(A + B) ≤ rank(A) +rank(B).

逆相关：

• (A−1)−1 = A

• If Ax = b, 左右都乘以A−1 得到 x = A−1b.

• (AB)−1 = B−1A−1

• (A−1)T = (AT)−1. F通常表示为A−T.

行列式相关：

• For A ∈ Rn×n, |A| = |AT |.

• For A, B ∈ Rn×n, |AB| = |A||B|.

• For A ∈ Rn×n, |A| = 0，表示矩阵A是奇异矩阵，不可逆矩阵

• For A ∈ Rn×n and A 可逆, |A|−1 = 1/|A|.

梯度相关：

• ∇x(f(x) + g(x)) = ∇xf(x) + ∇xg(x).

• For t ∈ R, ∇x(t f(x)) = t∇xf(x).

• ∇xbT x = b

• ∇xxT Ax = 2Ax (if A 对称)

• ∇2xxT Ax = 2A (if A 对称)

• ∇A|A| =(adj(A))T = |A|A−T . adj=adjoint