算法——如何衡量两个数字序列之间的相似度

背景

给定两个等长的数字序列，如何衡量他们之间的相似程度？
如$[2,1,0,3]$、$[2,0,3,1]$与$[1,3,2,0]$三个序列之间哪两个最相似？
为了解决上述问题，本文提出了两类衡量指标用来衡量序列相似度。

指标

0.符号约定

$n$：序列长度
$P$：数字序列$[0,1,2,3,...,n-1]$
$A,B$：数字序列$P$的某种排列方式
$R(A)$：$A$的反转序列
$A[i]$：$A$中第$i$位的数字
$i[A]$：数字$i$在$A$中的位置
$s=A(i,j)$：交换，$A$中的第$i$位与第$j$位互换
$w(s)$：交换权，进行交换$s$需要的代价
$S=A\to B=[s_1,s_2,s_3,...]$：转换，能将$A$转换为$B$的一系列交换
$W(S)={\sum }_{s\in S}w(s)$：转换权，转换$S$中所有交换的交换权之和

1.基于位置的指标

• 位方差(location square deviation, LSD)
  $LSD(A,B)=\frac{1}{n}{\sum }_{i=0}^{n-1}(i[A]-i[B]{)}^2$
  各数在两序列中的位置差距的平方的平均值，值越小序列越相似。

• 位均差(location mean deviation, LMD)
  $LMD(A,B)=\frac{1}{n}{\sum }_{i=0}^{n-1}|i[A]-i[B]|$
  各数在两序列中位置间差距绝对值的平均值，值越小序列越相似。

• 交换差(swap deviation, SD)
  $SD(A,B)=min(W(A\to B))=min({\sum }_{s\in A\to B}1)$
  两序列转换所需最小交换次数，即令$w(s)=1$的最小转换权，值越小序列越相似。

• 交换距离差(swap distance deviation, SDD)
  $SDD(A,B)=min(W(A\to B))=min({\sum }_{s\in A\to B}|i-j|)$
  两序列转换所需最小交换距离（交换位置间距离）之和，即令$w(s)=|i-j|$的最小转换权，值越小序列越相似。

2.基于数值的指标

• 值方差(value square deviation, VSD)
  $VSD(A,B)=\frac{1}{n}{\sum }_{i=0}^{n-1}(A[i]-B[i]{)}^2$
  两序列对应位置两数之差平方的平均值，值越小序列越相似。

• 值均差(value mean deviation, VMD)
  $VMD(A,B)=\frac{1}{n}{\sum }_{i=0}^{n-1}|A[i]-B[i]|$
  两序列对应位置两数之差绝对值的平均值，值越小序列越相似。

• 点积比(dot product ratio, DPR)
  $DPR(A,B)=\frac{{\sum }_{i=0}^{n-1}A[i]\times B[i]}{{\sum }_{i=0}^{n-1}A[i{]}^2}$
  两序列对应位置两数乘积的和除以序列各数平方和，值越大序列越相似，其取值范围为$[\frac{n-2}{2n-1},1]$。

• 归一化点积比(normalization dot product ratio, NDPR)
  $NDPR(A,B)=\frac{2n-1}{n+1}DPR(A,B)-\frac{n-2}{n+1}$
  将点积比归一化，取值范围为$[0,1]$。

性质

$SDD(A,B)=\frac{n}{2}LMD(A,B)$
$LSD(A,P)=\frac{n(n^2-1)}{3}NDPR(R(A),P)$
$LSD(R(A),P)=\frac{n(n^2-1)}{3}NDPR(A,P)$
$LSD(A,P)=\frac{n(n^2-1)}{3}NDPR(A,R(P))$
$LSD(A,R(P))=\frac{n(n^2-1)}{3}NDPR(A,P)$

图像

根据如何将数字序列映射为整数和计算序列相似度的算法，将整数转换为序列之后就可以以整数为自变量算出以上指标并画出三维图像。以下给出各个指标在$n=6$的情况下的图像。

• 位方差(location square deviation, LSD)
  
• 位均差(location mean deviation, LMD)
  
• 交换差(swap deviation, SD)
  
• 交换距离差(swap distance deviation, SDD)
  
• 值方差(value square deviation, VSD)
  
• 值均差(value mean deviation, VMD)
  
• 点积比(dot product ratio, DPR)
  
• 归一化点积比(normalization dot product ratio, NDPR)