Pytorch系列
文章平均质量分 84
主要介绍pytorch的各种使用方法。
克莱因胡
这个作者很懒,什么都没留下…
展开
-
Pytorch系列:(八)学习率
目录设置网络固定学习率学习率基类Pytorch自带学习率方法StepLRMultiStepLRExponentialLRCosineAnnealingLRReduceLRonPlateauLambdaLR学习率使用方法学习率的调整会对网络模型的训练造成巨大的影响,本文总结了pytorch自带的学习率调整函数,以及其使用方法。设置网络固定学习率设置固定学习率的方法有两种,第一种是直接设置一些学习率,网络从头到尾都使用这个学习率,一个例子如下:optimizer = torch.optim.SGD(mo原创 2021-06-20 20:37:26 · 1344 阅读 · 0 评论 -
Pytorch系列:(七)模型初始化
目录为什么要进行初始化一些常见初始化方法XavierKaimingLSTM初始化Embedding进行初始化其他通用初始化方法遍历初始化直接使用pytorch内置初始化使用apply进行初始化为什么要进行初始化首先假设有一个两层全连接网络,第一层的第一个节点值为 H11=∑i=0nXi∗W1iH_{11}= \sum_{i=0}^n X_i*W_{1i}H11=∑i=0nXi∗W1i,这个时候,方差为 D(H11)=∑i=0nD(Xi)∗D(W1i)D(H_{11}) = \sum_{i=0}原创 2021-06-13 22:44:39 · 1905 阅读 · 2 评论 -
Pytorch系列:(六)自然语言处理NLP
目录nn.EmbeddingRNNPytorch中的RNNRNN 中的输入与输出RNNCellLSTMPytorch 中的LSTMLSTM 中的输入与输出LSTMCellGRUPytorch 中的GRU序列模型采样方法完整示例这篇文章主要介绍Pytorch中常用的几个循环神经网络模型,包括RNN,LSTM,GRU,以及其他相关知识点。nn.Embedding在使用各种NLP模型之前,需要将单词进行向量化,其中,pytorch自带一个Embedding层,用来实现单词的编码。Embedding层 随机初原创 2021-05-21 21:55:50 · 1583 阅读 · 0 评论 -
Pytorch系列:(五)CNN
目录卷积Conv2dConv1d转置卷积池化函数nn.MaxPool2dnn.AvgPool2dnn.MaxUnpool2d卷积Conv2d2D卷积函数和参数如下nn.Conv2d( in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True, padding_mode='zeros') 参数说明原创 2021-05-16 21:35:20 · 516 阅读 · 0 评论 -
Pytorch系列:(四)IO操作
目录方法一:存储整个模型方法二:存储模型参数state_dict说明中间状态保存首先注意pytorch中模型保存有两种格式,pth和pkl,其中,pth是pytorch默认格式,pkl还支持pickle库,不过一般如果没有特殊需求的时候,推荐使用默认pth格式保存pytorch中有两种数据保存方法,一种是存储整个模型,一种只存储参数方法一:存储整个模型#保存torch.save(model1, 'net.pth')#读取model1 = torch.load('net.pth')方法原创 2021-05-06 22:33:04 · 178 阅读 · 0 评论 -
Pytorch系列:(三)模型构建
nn.Module 函数详解nn.Module是所有网络模型结构的基类,无论是pytorch自带的模型,还是要自定义模型,都需要继承这个类。这个模块包含了很多子模块,如下所示,_parameters存放的是模型的参数,_buffers也存放的是模型的参数,但是是那些不需要更新的参数。带hook的都是钩子函数,详见钩子函数部分。self._parameters = OrderedDict()self._buffers = OrderedDict()self._non_persistent_buffer原创 2021-04-26 23:43:12 · 286 阅读 · 0 评论 -
Pytorch系列:(二)数据加载
目录DataLoader数据集构建自定义数据集torchvision数据集TensorDataset从文件夹中加载数据集数据集操作数据拼接数据切分采样器SamplerRandomSampler**SequentialSampler****SubsetRandomSampler****BatchSampler**WeightedRandomSampler自定义采样器DataLoaderDataLoader(dataset,batch_size=1,shuffle=False,sampler=None,b原创 2021-04-26 15:54:24 · 635 阅读 · 4 评论 -
Pytorch系列:(一)常用基础操作
各种张量初始化创建特殊类型的tensora = torch.FloatTensor(2,3) a = torch.DoubleTensor(2,3)... 设置pytorch中tensor的默认类型torch.set_default_tensor_type(torch.DoubleTensor)更改tensor类型a.float()各种常用初始化torch.randn_like()torch.rand(3,3) #创建 0-1 (3,3)矩阵torch.randn(3原创 2021-04-25 18:12:36 · 378 阅读 · 0 评论