信息论
Sukura、xia
这个作者很懒,什么都没留下…
展开
-
余弦相似度,F.cosine_similarity()详解
以上就是余弦相似度的所有内容import torchimport torch.nn.functional as F##特征向量aa = torch.tensor([[1, 2], [3, 4]], dtype=torch.float32)##特征向量bb = torch.tensor([[5, 6], [7, 8]], dtype=torch.float32)print(F.cosine_similarity(a, b, dim=-1))...原创 2022-04-19 23:23:24 · 5191 阅读 · 1 评论 -
互信息(Mutual Information)
互信息是两个随机变量间相互依赖性的量度,用I(X;Y)表示互信息度量两个随机变量共享的信息——知道随机变量X,对随机变量Y的不确定性减少的程度(或者知道随机变量Y,对随机变量X的不确定性减少的程度举个例子随机变量X表示一个均衡的六面骰子投掷出的点数,Y表示X的奇偶性。这里我们设X是偶数时,Y=0;X是奇数时,Y=1。如果我们知道X,如X=1,则可以判断Y=1。(失去Y=0这一信息的可能性,Y的不确定性信息减少了)同样的,如果我们知道Y=0,则可以判断X=2或4或6。(失去X=1或3或5这一信息的可原创 2022-04-14 11:48:41 · 19294 阅读 · 0 评论