qq_40206371的博客

【代码】pytorch 笔记：torch.optim.Adam。

这在微调预训练网络时特别有用，例如当你决定解冻某些层，让它们在训练过程中变得可训练，并需要被优化器管理。这是大多数优化器支持的简化版本。一旦使用例如 backward() 计算了梯度，就可以调用该函数。这个字典指定了应该被优化的张量（Tensors），以及与该参数组相关的特定优化选项。假设有一个已经训练的模型，现在在特定的epoch之后，要解冻最后几层以进行微调。所有优化器都实现了一个 step() 方法，用于更新参数。这些选项可以包括学习率 (

可以使用。

【代码】机器学习/pytorch笔记:time2vec。

具体来说，有以下数据：张量a（大小为 40x10），包含 40 个位置的embedding（每个位置的embedding维度为10）。张量b（大小为 4x10），包含一个batch中4个预测位置的embedding。张量c（大小为 4x1），包含四个ground-truth位置的索引。任务是对于b中的每个位置，计算它与a中所有40个位置的embedding的内积，然后选取内积值最高的10个位置。接下来，检查c中的ground-truth位置索引是否在这10个最高内积位置中。

用top/htop找到相应程序的PID,再使用 kill 结束该进程。可以清理任何先前运行的程序可能遗留的未释放内存。

时，这表示使用曼哈顿距离（或 L1 范数）。（无穷大）可以用来计算切比雪夫距离。计算距离时使用的范数的阶数。，这表示使用欧几里得距离。

会退化成普通的二元交叉熵损失（Binary Cross Entropy, BCE）权重因子，范围在 (0,1) 之间，用于平衡正负样本。存储每个元素的二分类标签（0表示负类，1表示正类）'none'、'mean' 或 'sum'。与 inputs 形状相同的浮点张量。'none' 表示对输出不进行约简；'mean' 表示将输出取平均；当 =α=1 且 γ=0= 时，'sum' 表示将输出求和。默认为 'none'

时，PyTorch 会在程序第一次执行每种卷积配置时启用一个自动调优器，这个调优器通过实际运行不同的卷积算法来测试它们的性能。（默认值）时，PyTorch/cuDNN 会选择一个合适的、通用的卷积算法来执行操作，而不会根据具体的网络配置进行优化。这是因为一旦为每种卷积配置选择了最优算法，就不需要再进行调整，每次执行同样的卷积操作都会使用这一最优算法。然后，它选择最快的算法，并在后续的训练过程中使用这一算法。这个“基准测试”过程只在第一次遇到新的卷积配置时进行。

输入为半精度（FP16），输出为全精度（FP32）

返回给定输入张量沿指定维度的最大的 k 个元素dimlargestFalsedimsortedTrue。

将一个连续的维度范围扁平化为一个张量start_dimend_dim。

接收一个包含索引值的 LongTensor，形状为()，并返回一个形状为(, num_classes)的张量，该张量在所有位置都是零，除了在输入张量对应值的索引位置处为1。(int) – 总类别数。如果设置为-1，则类别数将被推断为输入张量中最大类别值加一。num_classes必须比tensor中出现的数字多，否则会报错。

nn.Module。

可以是一个整数或一个元组。，那么填充后的序列将是。被复制了两次，右边的。

计算两个Tensor之间的p-范数。

【代码】t2vec 辅助笔记：evaluate.py。

用于防止在训练神经网络时出现梯度爆炸的问题。梯度裁剪通过限制梯度的范数来防止梯度的值变得过大。

是 PyTorch 中的一个函数，用于将张量按指定的大小或张量数量进行分割。

从指定的路径加载预训练的词嵌入权重，并将这些权重复制到模型中的。

是一个PyTorch函数，用于检查两个张量是否在某个容忍度范围内近似相等otherrtolatolequal_nan。

nn.GRUhnseq_lenhnseq_lenhnGRUCell如果seq_len为1，那么nn.GRU的hn和的hn应该是相同的？

在多层GRU中，第 l 层的输入（对于 l≥2）是前一层的隐藏状态乘以概率 dropout。

使用的主要好处是。因为通过跳过填充部分，RNN不需要在这些部分进行无用的计算。这特别对于处理长度差异很大的批量序列时很有帮助。

对一个已打包的序列进行解包，这个打包的序列通常是通过。设置为False，输入序列将无条件地被排序。，序列应该按长度降序排列。函数从一个填充的序列得到的。还是之前的packed。

【代码】pytorch笔记：TRIPLETMARGINLOSS。

对于具有相同形状的张量 ypred​ 和 ytrue（ypred​ 是输入，ytrue​ 是目标），定义逐点KL散度为：为了在计算时避免下溢问题，此KLDivLoss期望输入在对数空间中。如果log_target=True，则目标也在对数空间。

是 PyTorch 中的一个非常有用的函数，允许从给定的维度中选择指定索引的张量值一个 1D 张量，包含你想要从dim维度中选择的索引此张量应该是LongTensor类型一个可选的参数，用于指定输出张量。如果没有提供，将创建一个新的张量。

默认情况，Frobenius范数。

进行一个维度的快速傅里叶变换。

画出pytorch的流程图。

使用BCE计算重构误差。

这个在后面的一些nn.init初始化中会用到。

embed_dim模型的维度num_headsattention的头数（embed_dim会平均分配给每个头，也即每个头的维度是embed_dim//num_heads）dropoutattn_output_weights的dropout概率biasinput和output的投影函数，是否有biaskdimk的维度，默认embed_dimvdimv的维度，默认embed_dimTrue——输入和输出的维度是(batch_num,seq_len,feature_dim)

【代码】pytorch笔记 meshgrid。

随机池化对特征图中的元素按照其概率值大小随机选择，即元素值大的被选中的概率也大，而不像max-pooling那样，永远只取那个最大值元素，这使得随机池化具有。输入为(N,C,Lin​) or(C,Lin​)，输出为(N,C,Lout​) or (C, L_{out})，其中Lout​=output_size.混合池化优于传统的最大池化和平均池化方法，并可以解决过拟合问题来提高分类精度。每个元素值表示对应位置处值的概率，现在只需要按照该概率来随机选一个。λ是0或1的随机值，表示选择使用最大池化或平均池化。

—在每个子模组递归地执行func。——一般用于初始化参数中。

理论部分可见：强化学习笔记：双延时确定策略梯度 (TD3)_UQI-LIUWJ的博客-CSDN博客源代码路径：easy-rl/codes/DDPG at master · datawhalechina/easy-rl (github.com)1.2 Config 类——一些环境变量和算法变量的配置1.3 env_agent_config函数——设置环境和智能体1.4 train 1.5 test 1. 6 main 函数部分2 ddpg.py2.

Trainable 是一个传递给 Tune 的对象。Ray Tune 有两种定义可训练对象的方法， Function API 和 Class API。 假设我们想要优化一个简单的目标函数，例如 ，其中 a 和 b 是我们想要调整以最小化目标的超参数。 由于目标也有一个变量 x，我们需要测试不同的 x 值。 给定 a、b 和 x 的具体选择，我们可以评估目标函数并获得最小化分数。创建一个接收超参数字典的函数（在下面的例子中是trainable函数，pytorch 笔记：使用Tune 进行调参_UQI-LIUW

模型为model，优化器为optimizertest的时候，就可以加载这个最佳模型对应的参数（model.load_state_dict），进行测试在PyTorch中进行validation时，使用他们均可切换到测试模式。eg，对于dropout层和batchnorm层：**with torch.zero_grad()**则停止autograd模块的工作，也就是停止gradient计算，以起到加速和节省显存的作用，从而节省了GPU算力和显存，但是并不会影响dropout和batchnorm层的行为。（