机器学习基础--math（17）--各种距离

距离

　　任意满足测度的 4 个条件的函数都可以被定义为距离。

1. non-negativity or separation axiom（非负性或分离公理）
2. identity of indiscernibles （不可分辨的同一性）
3. symmetry（对称性）

4. subadditivity or triangle inequality（次可加性或三角不等式）

   　　参考资料：（wiki）
   　　https://en.wikipedia.org/wiki/Metric_%28mathematics%29#Definition

---

汉明距离

　　在通信中累计定长二进制字中发生翻转的错误数据位，所以它也被称为信号距离。
　　它表示两个（相同长度）字对应位不同的数量，我们以d（x,y）表示两个字x,y之间的汉明距离。对两个字符串进行异或运算，并统计结果为1的个数，那么这个数就是汉明距离。
　　

应用

　　汉明距离更多的用于信号处理，表明一个信号变成另一个信号需要的最小操作（替换位），实际中就是比较两个比特串有多少个位不一样，简洁的操作时就是两个比特串进行异或之后包含1的个数。
　　汉明距在图像处理领域也有这广泛的应用，是比较二进制图像非常有效的手段。其在包括信息论、编码理论、密码学等领域都有应用。

具体使用

　　1011101 与 1001001 之间的汉明距离是 2。
　　2143896 与 2233796 之间的汉明距离是 3。
　　“”toned”” 与 “”roses”” 之间的汉明距离是 3。

　　计算一个数字的比特位包含1的个数有个小技巧：value &= value - 1这个运算的结果就是把value最后一个1去掉，循环进行运算直到value等于0（所有的1都被去掉）就可以知道vaule拥有多少个1了。

汉明重量

　　指字符串相对于同样长度的零字符串的汉明距离，也就是说，它是字符串中非零的元素个数。
　　对于二进制字符串来说，就是 1 的个数，所以 11101 的汉明重量是 4。

---

编辑距离（Edit Distance）

　　又称Levenshtein距离，是一种距离度量方式。
重点内容指两个字串之间，由一个转成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。一般来说，编辑距离越小，两个串的相似度越大。

---

欧式空间和欧式距离

　　euclidean，欧几里得，欧式

欧式空间

　　欧氏空间比较常见的定义是 直角坐标系和解析几何。
　　这些数学空间可以被扩展来应用于任何有限维度，而这种空间叫做 n 维欧几里得空间（甚至简称  n维空间）或有限维实内积空间。
　　欧式空间的定义：设V是实数域R上的线性空间（或称为向量空间），若V上定义着正定对称双线性型g（g称为内积），则V称为（对于g的）内积空间或欧几里德空间（有时仅当V是有限维时，才称为欧几里德空间）。[3] 具体来说，g是V上的二元实值函数，满足如下关系：
　　（1）g(x,y)=g(y,x)；
　　（2）g(x+y,z)=g(x,z)+g(y,z)；
　　（3）g(kx,y)=kg(x,y)；
　　（4）g(x,x)>=0，而且g(x,x)=0当且仅当x=0时成立。
　　这里x,y,z是V中任意向量，k是任意实数。积分值。

　　例子：
　　1. （经典欧几里德空间E^n）在n维实向量空间R^n中定义内积(x,y)=x_1y_1+…+x_ny_n，则R^n为欧几里德空间。（事实上，任意一个n维欧几里德空间V等距同构于E^n。）
　　2. 设V是[0,1]区间上连续实函数全体，则V是R上线性空间，对于如下内积是欧几里德空间：(f,g)定义为fg在[0,1]区间上的

“欧几里德范数”（Euclidean norm）

　　x是n维向量(x1,x2,…,xn),
　　||x||＝根号(|x1|方+|x2|方+…+|xn|方)
　　补充：开平方,跟几何一样

欧氏距离（ Euclidean distance）

　　也称欧几里得距离，它是一个通常采用的距离定义，它是在m维空间中两个点之间的真实距离。
　　在二维和三维空间中的欧氏距离的就是两点之间的距离，即内积。
　　二维的公式：d = sqrt((x1-x2)^2+(y1-y2)^2)
　　三维的公式：d=sqrt((x1-x2)^2+(y1-y2)^2+(z1-z2)^2)