一种用向量化的方式实现 L2 Distance 的数学技巧

背景描述

在 CS231n 的作业题中有一个需要实现 L2 distance 的题目，题目要求不能用循环语句。
已知待分类的数据集合矩阵 X ，训练用数据集合矩阵 X_train。
待分类数据集中任何一个数据点到训练用数据集合中的任一点之间的距离用矩阵 dists[i,j] 来表示。

理解这个问题有这样要点：

• 在计算的过程中借助广播的性质从向量运算一口气生成最后的矩阵，而不是手动的生成矩阵。
• 利用这样一个数学等价变化 $(x-y{)}^2=x^2-2xy+y^2$

首先这个问题最好还是要形象一下。

比如说我设待分类的矩阵（也就是 test 矩阵）为 X ，它有两个样本， 3 个属性。也就是
$X=\left(\begin{array}{ccc}{x}_1^{(1)}& x_2^{(1)}& x_3^{(1)}\\ x_1^{(2)}& x_2^{(2)}& x_3^{(2)}\end{array}\right)$。
我设测试机矩阵（也就是 X_train）为 Y ，它有三个样本，3个属性。也就是
$Y=\left(\begin{array}{ccc}{y}_1^{(1)}& y_2^{(1)}& y_3^{(1)}\\ y_1^{(2)}& y_2^{(2)}& y_3^{(2)}\\ y_1^{(3)}& y_2^{(3)}& y_3^{(3)}\end{array}\right)$。
我们最后要求的这个矩阵dist[i,j]，第 i,j 个位置对应于待分类矩阵中的第 i 个元素到测试矩阵第 j 个元素的L2距离。这是一个 2 X 3 的矩阵（num_test X num_train）。

我们进一步把 dist 矩阵形象化一下，并拿出其中的一个元素，试着将其展开，推导一下看看能不能看出点什么东西出来。

$dist=\left(\begin{array}{ccc}L(x^{(1)},y^{(1)})& L(x^{(1)},y^{(2)})& L(x^{(1)},y^{(3)})\\ L(x^{(2)},y^{(1)})& L(x^{(2)},y^{(2)})& L(x^{(2)},y^{(3)})\end{array}\right)$。
拿出$L(x^{(1)},y^{(1)})$ 这一项来，这表示待分类数据集中的$x^{(1)}$这个样本到测试数据集中的$y^{(1)}$这个点之间的距离。$x^{(1)}$ 和 $y^{(1)}$ 这两点都是向量，每个向量都有 3 个分量。我们把$L(x^{(1)},y^{(1)})$ 这项也展开来。
L ( x ( 1 ) , y ( 1 ) ) = ( x 1 ( 1 ) − y 1 ( 1 ) ) 2 + ( x 2 ( 1 ) − y 2 ( 1 ) ) 2 + ( x 3 ( 1 ) − y 3 ( 1 ) ) 2 = [ ( x 1 ( 1 ) ) 2 + ( x 2 ( 1 ) ) 2 + ( x 3 ( 1 ) ) 2 ] + [ ( y 1 ( 1 ) ) 2 + ( y 2 ( 1 )