给定 A ∈ R d × n A\in\R^{d\times n} A∈Rd×n、 b ∈ R d b\in\R^d b∈Rd,求 x = arg min x ∥ A x − b ∥ 2 x=\arg\min_x\parallel Ax-b \parallel^2 x=argminx∥Ax−b∥2。
numpy 和 scipy 都有相应的包,见 [1,2]。需要注意的是,传入的 A、b 是按列向量排,即 A 是 [d, n] 形状的, b b b 只有一个就是 [d],多个就是 [d, m],这与 tf、pytorch 中第一维是样本 id 的习惯不同,详见 [1,2] 中的维度信息。
Code
import numpy as np
import scipy.linalg
A = np.arange(12).reshape(3, 4)
b = np.array([1, 2, 3])
print("A:", A)
print("b:", b)
# 求解
x1 = np.linalg.lstsq(A, b)[0]
x2 = scipy.linalg.lstsq(A, b)[0]
print("numpy:", x1)
print("scipy:", x2)
# 验算
b_hat_1 = A.dot(x1)
b_hat_2 = A.dot(x2)
print("numpy reconstruct:", b_hat_1)
print("scipy reconstruct:", b_hat_2)