写对比学习损失函数有感（关于速度差异、出现nan的情况）

出现nan的情况

1、比如 loss = sum(loss[i]) / count，这个时候就要小心分母，如果分母是0的话，loss就会变成nan。

2、使用交叉熵，因为有一个log函数，要注意内部。比如，-log(fenzi / fenmu)，首先分母不能为0，第二分子也不能为0（否则log(0)一样会出问题），所以最好对分子分母都加一个很小的值，比如1e-8。

运行速度

使用time.perf_counter()来计时，因为time.time()得到的是以秒为单位的时间，在这里不合适。

1、创建一个 1024*1024 的二维数组：

python列表：158

torch.zeros：131

np.zeros：0.38

torch.zeros(1024, 1024).to(‘cuda’)：55839

结论：如果用torch.zeros创建数组，还往cuda里放的话，速度会非常慢。最好用numpy，快好几个数量级。

2、给 1024*1024 的二维数组遍历赋值：

python自带数组：1800

torch.tensor.to(‘cuda’)：39400

np.zeros：4700

结论：在赋值方面np略逊于原生数组，但是没有数量级上的差距。tensor更不用说了，慢死人。

3、给 1024*1024 的二维数组遍历赋值，而且计算余弦相似度：

torch.tensor的数组，以及F.cos的相似度：774

np的数组，以及np的相似度：686

我所用的转化一大堆转来转去的相似度：624

结论：计算相似度的话，几种方法都差不多。而且都不高。最耗时的，还是创建数组的过程。