m0_51312071的博客

梯度反向传播

通常，在神经网络训练中，是在每个 mini-batch 处理完成后清空一次梯度，而不是在每个 epoch 结束后清空一次梯度。这是因为在每个 mini-batch 中，模型参数的梯度是根据当前 mini-batch 的损失计算得到的，如果不在每个 mini-batch 后清空梯度，梯度会在每个 mini-batch 中累积，导致参数更新不准确。

时间序列分析

torch.tensor函数和torch.from_numpy()函数都可以将numpy array转换为torch tensro，不同之处在于前者共享内存（torch的底层实现就是numpy，所以可以共享），后者开辟新的空间。

深度学习代码片段收集

在深度学习中，基准（benchmark）通常指的是一种标准或者参考，用于评估模型、算法或系统的性能。基准测试对于比较不同模型或算法的性能，以及评估它们在特定任务上的优劣非常重要。4.竞赛基准： 在深度学习领域，一些竞赛如ImageNet挑战赛、Kaggle竞赛等通常提供了公认的基准，用于比较不同团队或方法的性能。通过使用基准测试，研究人员和从业者能够更客观地评估和比较不同深度学习方法的性能，帮助他们选择最适合特定任务的模型或算法。这可以包括训练和推理的速度，以及模型在不同硬件配置下的资源利用情况。

零零碎碎总结了一些torch框架里面nn模块的用法，尤其是关于搭建神经网络的。

深度学习中数据处理是非常重要的一个部分，这里记录一些数据处理的技巧，针对数据集中的问题的解决办法

pytorch框架学习

复习项目地时候，一些零碎的困惑，涉及到深度学习的一些零碎的小知识点，

简单总结transductive:针对具体问题，小样本，通常没有模型例如：knn算法聚类测试集可以参与训练例如：GCN（半监督学习）在一张图中中只有少量数据有标签，我们需要对没有标签的节点进行预测，GCN通过聚合节点信息融合图数据的结构信息，进行节点分类。我们会发现无标签的节点相当于的测试集，但是这些测试节点实际也参与了训练。此外，如果这张图发生了变化，我们需要重新训练来对节点进行分类，先前的分类已经不适用了。inductive：寻找普遍规则，通常有模型，大量数据大部分有监督的深度学习模型都

参考博客

x=torch.zeros(3,3)x.scatter_(1,torch.tensor([0,1,2],dtype=torch.int64).view(-1,1),34)print(x)输出tensor([[34., 0., 0.], [ 0., 34., 0.], [ 0., 0., 34.]])功能：在指定维度的指定位置填充整数x.scatter_(dim,tensor,int)dim填充的维度tensor： int64类型，与x同维度int

记录一个错误：RuntimeError: Trying to backward through the graph a second time, but the buffers have already been freed. Specify retain_graph=True when calling backward the first time.import torchimport torch.nn as nnimport numpy as npfrom torch.nn import in

import torchimport numpy as npimport randomimport torch.utils.data as Dataimport torch.nn as nnfrom torch.nn import initimport torch.optim as optimnum_inputs = 3num_examples = 2000features = torch.normal(0, 1, (num_examples, num_inputs))true_w .

梯度定义：