欧氏距离和余弦相似度

https://blog.csdn.net/linvo/article/details/9333019

两者相同的地方，就是在机器学习中都可以用来计算相似度，但是两者的含义有很大差别，以我的理解就是：

前者是看成坐标系中两个点，来计算两点之间的距离；

后者是看成坐标系中两个向量，来计算两向量之间的夹角。

 

前者因为是点，所以一般指位置上的差别，即距离；

后者因为是向量，所以一般指方向上的差别，即所成夹角。

 

如下图所示：

数据项A和B在坐标图中当做点时，两者相似度为距离dist(A,B)，可通过欧氏距离（也叫欧几里得距离）公式计算：

当做向量时，两者相似度为cosθ，可通过余弦公式计算：

假设||A||、||B||表示向量A、B的2范数，例如向量[1,2,3]的2范数为：

√(1²+2²+3²) = √14

numpy中提供了范数的计算工具：linalg.norm()

所以计算cosθ起来非常方便（假定A、B均为列向量）：

 

1. num = float(A.T * B) #若为行向量则 A * B.T

2. denom = linalg.norm(A) * linalg.norm(B)

3. cos = num / denom #余弦值

4. sim = 0.5 + 0.5 * cos #归一化

 

因为有了linalg.norm()，欧氏距离公式实现起来更为方便：

 

1. dist = linalg.norm(A - B)

2. sim = 1.0 / (1.0 + dist) #归一化

 

关于归一化：

因为余弦值的范围是 [-1,+1] ，相似度计算时一般需要把值归一化到 [0,1]，一般通过如下方式：

sim = 0.5 + 0.5 * cosθ
若在欧氏距离公式中，取值范围会很大，一般通过如下方式归一化：

sim = 1 / (1 + dist(X,Y))

 

说完了原理，简单扯下实际意义，举个栗子吧：

例如某T恤从100块降到了50块（A(100,50)），某西装从1000块降到了500块（B(1000,500)）

那么T恤和西装都是降价了50%，两者的价格变动趋势一致，余弦相似度为最大值，即两者有很高的变化趋势相似度

但是从商品价格本身的角度来说，两者相差了好几百块的差距，欧氏距离较大，即两者有较低的价格相似度

 

-- EOF --

 

python字典按照value进行排序

先说几个解决的方法，具体的有时间再细说

d = {'a':1,'b':4,'c':2}

字典是这个，然后要对字典按照value进行排序

方法一：

sorted(d.items(),key = lambda x:x[1],reverse = True)

方法二：

import operator
sorted(d.items(),key = operator.itemgetter(1))

方法三：

f = zip(d.values(),d.keys())
sorted(f)
//结果是 [(1, 'a'), (2, 'c'), (4, 'b')]

zip 之后，zip函数默认会对第一个元素进行排序的，如何取消排序？

占位等后续项目做完总结

 

 

Multi-classification的问题可以用Multi-LogLoss

 

Multi-LogLoss=−1n∑i=1n∑j=1myi,jlog(pi,j).Multi-LogLoss=−1n∑i=1n∑j=1myi,jlog⁡(pi,j).

其中nn是预测样本的个数

mm是class的数量

yi,jyi,j是真实的分类，如果第ii个样本属于第jj个class，那么yi,j=1yi,j=1

loglog是自然对数

pi,jpi,j是模型预测出来第ii个样本属于第jj个class的概率