![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
pytorh学习记录
pytorch框架实践过程中遇的学习记录
康康同学97
这个作者很懒,什么都没留下…
展开
-
pytorch Cosine Annealing LR
Cosine Annealing LRtorch.optim.lr_scheduler.CosineAnnealingLR(optimizer,T_max,eta_min=0,last_epoch=-1)这个学习率策略就是说,学习率以余弦函数的趋势进行变换。T_max :用于设置半个周期的长度。如T_max=50的话,则学习率的变化情况为:在epoch0的时候,学习率是设置最大值;epoch0 ~ epoch50时,以余弦型式由设置的最大值下降到设置的最小值;epoch50 ~ epoch10原创 2021-07-12 18:30:26 · 3159 阅读 · 0 评论 -
pytorch Tensor.to(device)和model.to(device) 的区别
区别所在使用GPU训练的时候,需要将Module对象和Tensor类型的数据送入到device。通常会使用 to.(device)。但是需要注意的是:对于Tensor类型的数据,使用to.(device) 之后,需要接收返回值,返回值才是正确设置了device的Tensor。对于Module对象,只用调用to.(device) 就可以将模型设置为指定的device。不必接收返回值。来自pytorch官方文档的说明:Tensor.to(device)Module.to(devic原创 2021-06-10 16:40:21 · 6645 阅读 · 1 评论 -
pytorch tensor拼接 cat与stack
pytorch tensor拼接 cat与stack1 概述pytorch中cat和stack都是 用于tenssor拼接的方式,但其也存在差异。2 torch.cat()功能说明:将多个tensor按照指定维度进行拼接参数说明:tensors:将要拼接tensor按顺序写在一个元组中;dim:在哪个维度进行拼接。总之,记得在哪个维度进行拼接,最后拼接得到的tensor的shape那个维度就会变多。见下面的例子就很容易理解。注意:cat之后得到的结果中,dim的数量不变,之不够某原创 2021-06-05 12:54:58 · 1994 阅读 · 0 评论