使用TensorFlow实现余弦距离/欧氏距离（Euclidean distance）以及Attention矩阵的计算

最近在使用tensorflow完成句子相似度建模等任务时常常会用到各种距离的计算，而且有很多论文提出了Attention机制，所以这里就介绍一下如何使用tensorflow实现上述各种功能。
这里首先假定我们的输入是两个四维的Tensor，然后我们需要计算的是其中某个维度的距离。比如说我们的输入是batch个句子，句长是sent_len, 每个词被表示成embed_size的词向量。所以我们的输入就是一个[batch_size, sent_len, embed_size, 1]的Tensor，需要计算的就是两个句子的Attention矩阵。Aij表示句子1中第i个单词和句子2中第j个单词的距离（余弦距离，欧氏距离，L1距离等），也就是计算两个长度为embed_size的向量之间的距离。
为了方便表示和调试，我们这里使用shape为[2,3,4,1]的Tensor来表示上述句子。

1，Euclidean distance

欧氏距离很简单，以向量为例（x1, x2, x3,….,xn），（y1, y2, y3,….,yn），那么其欧氏距离的计算公式如下图所示：

在tensorflow中如何实现呢，代码如下：

import tensorflow as tf

x3 = tf.constant([[[[1], [2], [3], [4]],
                   [[5], [6], [7], [8]],
                   [[9], [10], [11], [12]]],

                  [[[1], [2], [3], [4]],
                   [[5], [6], [7], [8]],
                   [[9], [10], [11], [12]]]], tf.float32)

x4 = tf.constant([[[[3], [4], [1], [2]],
                   [[5], [7], [8], [6]],
                   [[9], [12], [11], [10]]],

                  [[[1], [2], [3], [4]],
                   [[5], [6], [7], [8]],
                   [[9], [10], [11], [12]]]], tf.float32)

with tf.Session() as sess:
    dis = sess.run(tf.square(x3-x4))
    dis1 = sess.run(tf.reduce_sum(tf.square(x3-x4), 2