- 博客(5)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 perplexity和预训练时用的loss的区别
Perplexity和预训练时用的loss都是用来评估语言模型的性能的指标，但是它们的计算方式和意义有所不同。Perplexity是一种用来衡量语言模型对一个测试集的预测能力的指标。它的计算方式是将测试集中的所有句子输入到语言模型中，计算每个句子的困惑度，最后将所有句子的困惑度取平均值得到一个整体的困惑度。困惑度反映的是语言模型在预测一个句子时的困难程度，它的值越小表示模型的预测能力越好。预训练时用的loss是在模型训练过程中用来优化模型参数的指标。
2023-03-21 10:58:02
1334
原创 torch.distributed.broadcast 解释&示例
是PyTorch分布式框架中的一个函数，它的作用是在分布式环境中将一个张量从指定的进程广播到所有其他进程。具体地说，当一个进程调用函数并指定一个张量作为输入，该函数会将这个张量广播给所有其他进程，这些进程也可以通过调用该函数来接收这个张量。在广播过程中，每个进程都会从指定进程接收张量，并将其写入自己的内存中。这样，所有进程都能够获得相同的张量副本，从而可以在分布式训练或其他任务中进行协同计算。其中，tensor是要广播的张量，src是指定的源进程，它会将张量广播给其他进程。group。
2023-03-20 21:33:08
4038
2
原创 Pytorch unsqueeze和squeeze 解释&示例
在PyTorch中，unsqueeze和squeeze函数用于改变张量的形状（即增加或减少维度）。unsqueeze函数将张量的指定维度扩展，使其具有大小为1的新维度，而squeeze函数则移除张量中大小为1的维度。
2023-03-20 20:49:12
333
原创 torch.gather 解释&示例
是一个PyTorch函数，用于按照给定的索引从输入张量中收集指定的元素。它接受三个参数：input：输入张量，其形状为(B, N, C)，其中B表示批次大小，N表示每个批次中的元素数，C表示每个元素的特征数。dim：表示需要收集的维度。例如，如果dim=1，则表示沿着第二个维度收集元素。index：一个张量，包含了从输入张量input中收集元素所需的索引。它的形状为(B, M)，其中M表示每个批次中要收集的元素数量。函数会返回一个形状为(B, M, C)
2023-03-20 20:43:40
1920
文本处理，除去word文件中的标点符号，计算Unicode字符数
2017-03-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人