![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
~~~Pytorch学习~~~~
NANCYGOODENOUGH
这个作者很懒,什么都没留下…
展开
-
Perceptual loss代码2
import torchimport torchvisionclass VGGPerceptualLoss(torch.nn.Module): def __init__(self, resize=True): super(VGGPerceptualLoss, self).__init__() blocks = [] blocks.append(torchvision.models.vgg16(pretrained=True).features[.原创 2022-03-09 16:02:35 · 663 阅读 · 0 评论 -
Perceptual loss代码1
"""Modified VGG16 to compute perceptual loss.This class is mostly copied from pytorch/examples.See, fast_neural_style in https://github.com/pytorch/examples."""import torchfrom torchvision import modelsclass VGG_OUTPUT(object): def __init__(s.原创 2022-03-09 15:26:55 · 2357 阅读 · 0 评论 -
torch.optim.lr_scheduler.MultiStepLR(optimizer, milestones, gamma=0.1, last_epoch=-1)
import torchimport torchvisionlearing_rate = 0.1model = torchvision.models.resnet18()optimizer = torch.optim.SGD(model.parameters(), lr=learing_rate, momentum=0.9, weight_decay=5e-5)scheduler =.原创 2022-03-08 14:43:22 · 887 阅读 · 1 评论 -
LR调整之余弦退火算法
import torchimport torch.nn as nnfrom torch.optim.lr_scheduler import CosineAnnealingLR, CosineAnnealingWarmRestartsimport itertoolsimport matplotlib.pyplot as pltclass Tmodel(nn.Module): def __init__(self): super().__init__() ...原创 2022-03-07 22:35:35 · 938 阅读 · 0 评论 -
LR与batchsize的关系
batchsize越大,LR越大。batchsize增大K倍,可将lr增加sqrt(K)倍,提供训练速度。实际中,直接将lr增大K倍效果更好。从上面的结果可以看出,对于采用非自适应学习率变换的方法,学习率的绝对值对模型的性能有较大影响,研究者常使用step变化策略。3 Batchsize如何影响模型性能?模型性能对batchsize虽然没有学习率那么敏感,但是在进一步提升模型性能时,batchsize就会成为一个非常关键的参数。3.1、...转载 2022-03-04 11:10:38 · 3124 阅读 · 0 评论 -
Trick : PyTorch学习率 warm up + 余弦退火
学习率是神经网络训练中最重要的超参数之一,针对学习率的优化方式很多,Warmup是其中的一种。为什么引入学习率衰减?我们都知道几乎所有的神经网络采取的是梯度下降法来对模型进行最优化,其中标准的权重更新公式:学习率a控制着梯度更新的步长(step),a越大,意味着下降的越快,到达最优点的速度也越快,如果为0,则网络就会停止更新 学习率过大,在算法优化的前期会加速学习,使得模型更容易接近局部或全局最优解。但是在后期会有较大波动,甚至出现损失函数的值围绕最小值徘徊,波动很大,始终难以达.翻译 2022-03-01 16:37:56 · 10673 阅读 · 0 评论 -
UnicodeDecodeError: ‘ascii‘ codec can‘t decode byte 0xe9 in position 122(已解决)
解决方法:方法1:(未解决)Python2版本适用:Python3版本适用:import sysreload(sys)方法2:(已解决)在yaml配置文件中添加了 注释#把注释去掉后问题解决原创 2021-12-18 14:24:41 · 778 阅读 · 0 评论 -
Python读写csv文件
逗号分隔值(Comma-Separated Values,CSV,有时也称为字符分隔值,因为分隔字符也可以不是逗号),其文件以纯文本形式存储表格数据(数字和文本)。纯文本意味着该文件是一个字符序列,不含必须像二进制数字那样被解读的数据。CSV文件由任意数目的记录组成,记录间以某种换行符分隔;每条记录由字段组成,字段间的分隔符是其它字符或字符串,最常见的是逗号或制表符。通常,所有记录都有完全相同的字段序列.特点读取出的数据一般为字符类型,如果是数字需要人为转换为数字 以行为单位读取数据 列之间以半转载 2021-12-17 11:36:21 · 308 阅读 · 0 评论 -
Python 字典 dict() 函数
描述Python 字典 dict() 函数用于创建一个新的字典,用法与 Pyhon 字典update()方法相似。回到顶部语法dict() 函数函数语法: 1 dict(key/value) 参数说明:key/value -- 用于创建字典的键/值对,此处可以表示键/值对的方法有很多,请看实例。回到顶部返回值返回一个新的字典。回到顶部实例以下实例展示了 dict() 函数的使用方法: 1 2 ..转载 2021-12-16 21:41:06 · 489 阅读 · 0 评论 -
Python处理HDF5文件:h5py库
(2条消息) 深度学习之10分钟入门h5py_种树最好的时间是10年前,其次是现在!!!-CSDN博客入门的建议博客是这个——深度学习之10分钟入门h5py,如果你比较迷惑的话,就把它当成是一个存储数据的工具即可,可以类比于Excel表格存储数据一样。HDF(Hierarchical Data Format)指一种为存储和处理大容量科学数据设计的文件格式及相应库文件。Python 中有一系列的工具可以操作和使用 HDF5 数据,其中最常用的是 h5py 和 PyTables。HDF5文件是一种存转载 2021-12-16 21:26:19 · 2183 阅读 · 0 评论 -
Python配置文件
常用的配置文件格式:ini文件: 这个在windows下用的比较多,只支持一层参数,太复杂的项目就不适用了。xml文件:上古时代就开始用了,每个标签可以自定认,但是格式很复杂,容易搞混。json文件:现在前后端交互的行业标准,搞互联网的没有人不认识,但有个头痛的地方就是不能注释(可以写一个不用的字段把注释内容写进去,但不建议)。yaml文件:比较新的一种配置文件格式,通俗易懂。但也有个头痛的地方,就是对齐和空格要注意雨露均沾,这个有点像Python的语法(Python开发者要随身带一把游标卡转载 2021-12-16 14:37:19 · 355 阅读 · 0 评论 -
解压tar.gz报错gzip: stdin: not in gzip format tar: Child returned status 1 tar: Error is not recoverable
解决方案:将 -zxvf 改为 -vxf原创 2021-12-15 16:22:09 · 1376 阅读 · 0 评论 -
git clone命令
git clone拷贝一个 Git 仓库到本地拷贝项目命令格式如下: git clone [url][url]是你要拷贝的项目。例如我们拷贝 Github 上的项目:$ git clone https://github.com/xinxinCloning into 'xinixn'...remote: Enumerating objects: 12, done.remote: Total 12 (delta 0), reused 0 (delta 0), pack-reus..原创 2021-12-15 15:23:05 · 1724 阅读 · 0 评论 -
sys.path.append()用法
import sys sys.path.append(’引用模块的地址') 对于模块和自己写的脚本不在同一个目录下,在脚本开头加sys.path.append('xxx')sys.path返回的是一个列表!原创 2021-12-14 15:24:17 · 748 阅读 · 0 评论 -
RuntimeError: The NVIDIA driver on your system is too old (found version 10010).
解决方法1:cuda版本与pytorch 版本不一致查看cuda版本代码:查看pytorch版本代码:cuda和pytorch 版本对应关系原创 2021-12-13 10:34:33 · 2207 阅读 · 0 评论 -
如何阅读别人的代码?
1.不要畏惧。我发现大家都经常会感叹XXX强大,YYY流行,无形中你会把它放在一个不可触及到的地位,感觉它很难,而令自己不敢去挑战它。2.带着问题去阅读代码,这也是我认为最有效的方式。这会让你在阅读时候有个主线,比较有针对性。3.断点调试。在Python代码中使用pdb一般不太好使,因为代码复杂的话,这种断点需要你使用多个n跳到对应的位置,我一般都是先抛出异常,然后使用pdb的up/...翻译 2020-01-26 12:28:04 · 1218 阅读 · 0 评论 -
pytorch中对维度及其squeeze()、unsqueeze()函数的理解
一、理解tensor的维度TensorFlow对张量的阶、维度、形状有着明确的定义,而在pytorh中对其的定义却模糊不清,仅仅有一个torch.size()的函数来查看张量的大小(我理解的这个大小指的就是TensorFlow对张量的形状描述,也和numpy的.shape类似)。所以,首先要搞清楚如何看一个张量的形状。import torch z = torch.ones(2,3,4)p...翻译 2019-09-19 11:01:25 · 758 阅读 · 1 评论