- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 torch中张量归一化后训练变慢问题
在做相似度任务计算时，通常会计算两个编码后向量的内积，再通过softmax+cross entropy进行分类。那么在内积前是否需要对向量归一化？归一化对梯度反向传播的影响是怎样的？本文通过简单的代码演示表明：归一化严重影响训练速度，因此在内积时无需做归一化处理。代码示例：1、不归一化：torch.manual_seed(100)x1, x2 = torch.rand(10, 768), torch.rand(10, 768)# x1 = x1 / torch.norm(x1, dim=1, ke
2020-09-22 11:58:56
756
原创 Python多进程multiprocess之多进程返回值获取
由于python内部GIL（全局解释器锁）的存在，所以python的线程实际上并不能很好的起到任务并行处理的作用，尤其是无法充分利用系统多核的优势，因此想要利用多核处理并行任务，就需要用到多进程——multiprocess。由于多进程任务时，经常需要返回函数的结果，这里主要关注进程返回值的获取。首先定义一个简单函数：def add(n): s = 0 for i in range(n): s += 1 print(f'子进程{n}') return s用串行的方法：import tim
2020-08-12 14:50:00
15280
2
原创 关于均匀分布rand5()构造rand7()的一些理解
最近在学习机器学习中的数学知识，看到这样一个题目：假设给定一个函数rand5()在[1,5]范围内等概率输出一个随机数，问：如何利用这样一个函数构建一个新的函数rand7()，使得其在[1,7]内等概率输出一个随机数。搜集了一下网上也有很多关于这个问题的解释，这里记录一下自己看完之后的理解，加深印象。首先，考虑从较小范围的随机函数生成较大范围的随机函数，很容易想到调用多次较小范围的随机函数...
2019-11-03 12:33:43
709
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人