劲草浅躬行

文章目录1. Function理解2. Function与Module差异与应用场景3. MyRelu Function4. Linear Function摘自https://zhuanlan.zhihu.com/p/277830971. Function理解Pytorch是利用Variable与Function来构建计算图的。回顾下Variable，Variable就像是计算图中的节点，保存计算结果（包括前向传播的激活值，反向传播的梯度），而Function就像计算图中的边，实现Variable

文章目录1. Variable & Tensor1. Variable & Tensorimport torchfrom torch.autograd import Variable # torch 中 Variable 模块tensor = torch.FloatTensor([[1,2],[3,4]])variable = Variable(tensor)print(tensor)print(variable)结果如下：tensor([[1., 2.],

文章目录DataloaderDataloader首先看一下最基础的DataLoader的源码中__next__的实现。为方便理解我只选取了num_works为0的情况（num_works简单理解就是能够并行化地读取数据）。class _BaseDataLoaderIter(object): def __init__(self, loader: DataLoader) -> None: self._dataset = loader.dataset self

文章目录cpu,gpu, torch.tensor与numpy.array转换torch(tensor)&numpy(array)的min,maxtorch(tensor)&numpy(array)的索引异同torch(tensor)&numpy(array)的索引中的Noneexpand, repeatcpu,gpu, torch.tensor与numpy.array转换CPU tensor转GPU tensor：cpu_imgs.cuda()GPU tensor

文章目录1. named_modules1. named_modules内部采用yield关键字，得到生成器。可以看到函数内部给出的例子，当外部迭代调用net.named_modules()时，会先返回prefix=’’，以及net对象本身。然后下一步会递归的调用named_modules()，继而深度优先的返回每一个module。def named_modules(self, memo: Optional[Set['Module']] = None, prefix: str = ''):