Pytroch
丁叔叔
这个作者很懒,什么都没留下…
展开
-
Fine tuning 模型微调
在前面的介绍卷积神经网络的时候,说到过PyTorch已经为我们训练好了一些经典的网络模型,那么这些预训练好的模型,是为了我们进行微调使用的。1 什么是微调针对于某个任务,自己的训练数据不多,那怎么办? 没关系,我们先找到一个同类的别人训练好的模型,把别人现成的训练好了的模型拿过来,换成自己的数据,调整一下参数,再训练一遍,这就是微调(fine-tune)。 PyTorch里面提供的经典的网络模...原创 2020-01-03 09:54:55 · 596 阅读 · 0 评论 -
resnet
原来层数 加一个shortcut 短路效果,即使以前为22层,新的加了例如8层,效果最起码也比以前的不会差。VGG运算量大import torchfrom torch import nnfrom torch.nn import functional as Ffrom torch.utils.data import DataLoaderfrom torchv...原创 2019-12-26 17:46:30 · 146 阅读 · 0 评论 -
bathnorm
https://blog.csdn.net/liuxiao214/article/details/81037416u seigma gama beita 四个值 在这里 知道16后面是 一个784 所以是batchnorm1dlayer.running_meanlayer.running_var 分别是均值μ 和segma平方 有16个 是其他所有值的计算结果 100*784结果...原创 2019-12-26 16:18:14 · 217 阅读 · 1 评论 -
dropout
在层之间插入即可,原来是200对200 但是中间就是单独的一层为 dropout 层 如上所示。区别 torch.nn.dropout(p=dropout_prob) 表示剩余的比例tf.nn.dropout(keep_prob)代表dropout的比例...原创 2019-12-26 15:07:35 · 217 阅读 · 0 评论 -
正则化
L1regularization_loss=0for param in model.parameters():regularization_loss+=torch.sum(torch.abs(param))classify_loss+criteon(logits,target)loss=classify_loss+0.01*regularization_lossoptimizer.ze...原创 2019-12-25 11:17:40 · 148 阅读 · 0 评论 -
MLP实例
实例原创 2019-12-04 17:39:24 · 862 阅读 · 0 评论 -
pytorch API crossentropy
cross_entropy =softmax +log +nll_loss41输入直接一步到位而42 需要 在19作为基础上进行34 40 以及42最终的操作原创 2019-12-03 17:29:42 · 116 阅读 · 0 评论 -
pytorch gradient api
21 错误是因为没有定义设置梯度22错误是因为pytorch是动态图,需要更新。在新建的时候直接让之可以更新信息,说清楚哪个是变量,那个不需要变化原创 2019-11-29 17:55:27 · 112 阅读 · 0 评论 -
pytorch api(2)
floor 向下ceil 向上trunc 取证frac 小数部分pytorch 常用基础函数https://www.jianshu.com/p/d678c5e44a6bge是大于等于 gt是大于le是小于等于 lt 是小于 都要每个元素相对应的挨个去比较上面是选择在哪个dim上找最大的,下面是不改变原来的dim意思a.topk(3,dim=1)表示是最大的三个数值tor...原创 2019-11-14 17:38:49 · 110 阅读 · 0 评论 -
pytorch API (1)
unsqueeze 增加维度squeeze减少维度squeeze翻译 压缩permute() 根据括号中的位置进行处理,进行位置的调整。view()cat就是直接拼接起来,后面的数字代表是在 横向还是纵向stack 会增加新的维度,后面数字 即为代表是在哪个维度上进行拼接。。https://blog.csdn.net/david0611/article/details/81058...原创 2019-11-14 17:05:06 · 163 阅读 · 0 评论 -
pytroch 基本网络搭建
网络快速搭建class Net(torch.nn.Module): def __init__(self, n_feature, n_hidden, n_output): super(Net, self).__init__() self.hidden = torch.nn.Linear(n_feature, n_hidden) self.p...原创 2019-09-11 14:07:45 · 227 阅读 · 0 评论 -
pytorch学习
squeeze的用法主要就是对数据的维度进行压缩或者解压。先看torch.squeeze() 这个函数主要对数据的维度进行压缩,去掉维数为1的的维度,比如是一行或者一列这种,一个一行三列(1,3)的数去掉第一个维数为一的维度之后就变成(3)行。squeeze(a)就是将a中所有为1的维度删掉。不为1的维度没有影响。a.squeeze(N) 就是去掉a中指定的维数为一的维度。还有一种形式就是b=t...原创 2019-09-10 16:03:38 · 100 阅读 · 0 评论