pytorch
文章平均质量分 85
pytorch相关知识文章
CV小蜗牛
这个作者很懒,什么都没留下…
展开
-
Batch Normalization
Batch Normalization1、什么是Batch Normalization以前在神经网络训练中,只是对输入层数据进行归一化处理,却没有在中间层进行归一化处理。要知道,虽然我们对输入数据进行了归一化处理,但是输入数据经过 $ \sigma(WX+b) $ 这样的矩阵乘法以及非线性运算之后,其数据分布很可能被改变,而随着深度网络的多层运算之后,数据分布的变化将越来越大。如果我们能在网络的中间也进行归一化处理,是否对网络的训练起到改进作用呢?答案是肯定的。这种在神经网络中间层也进行归一化处理,使原创 2022-01-13 11:41:42 · 262 阅读 · 0 评论 -
pytorch中loss_functions—ctcloss
pytorch中loss_functions—ctcloss首先来看下ctc_loss的函数形式:torch.nn.functional.ctc_loss(log_probs, targets, input_lengths, target_lengths, blank=0, reduction='mean', zero_infinity=False)参数log_probs –(T,N,C)其中C是码表中的字符个数,包括blank。T表示序列的长度,N表示batch size。该参数需要先进行取自原创 2021-12-08 11:41:06 · 859 阅读 · 0 评论 -
pytorch中loss_functions——binary_cross_entropy
首先来看下binary_cross_entropy的函数形式:torch.nn.functional.binary_cross_entropy(input, target, weight=None, size_average=None, reduce=None, reduction='mean')Parametersinput – Tensor of arbitrary shapetarget – Tensor of the same shape as inputweight (Tensor,原创 2021-06-18 17:45:48 · 1656 阅读 · 0 评论