torch 离散数据依概率抽样

参数介绍

sample = torch.multinomial(x, num_samples=10, replacement=True)

x表示概率分布,num_samples=10表示每一次抽取10个元素,replacement=True/Fasle表示不放回抽样 / 放回抽样

案例

假设10个数字分别为x1 ~ x10,要从10个数字里面抽取一个数字,下面的张量为3行10列的概率矩阵。
第一种情况,抽中每一个数字的概率分别为:[0.1005, 0.0987, 0.1000, 0.0988, 0.1007, 0.0999, 0.1005, 0.1018, 0.1003,0.0988],将这一行作为概率分布进行抽样,抽取1个样本。同理第二种情况、第三种情况的概率分布分别是张量的第2、3行。

tensor([[0.1005, 0.0987, 0.1000, 0.0988, 0.1007, 0.0999, 0.1005, 0.1018, 0.1003,0.0988],
        [0.1011, 0.0985, 0.1005, 0.0997, 0.1010, 0.0996, 0.1004, 0.1027, 0.0992,0.0974],
        [0.1005, 0.0992, 0.1006, 0.0997, 0.1005, 0.0995, 0.1001, 0.1013, 0.0998,0.0987]])

要从每行作为概率分布的张量中抽取一个样本,可以使用torch.multinomial()函数。该函数接受一个包含概率分布的张量和要抽取的样本数量作为输入,并返回对应的样本索引。

下面是一个示例代码,展示如何从给定的概率分布中抽取一个样本:

求解

import torch

x = torch.tensor([[0.1005, 0.0987, 0.1000, 0.0988, 0.1007, 0.0999, 0.1005, 0.1018, 0.1003, 0.0988],
                  [0.1011, 0.0985, 0.1005, 0.0997, 0.1010, 0.0996, 0.1004, 0.1027, 0.0992, 0.0974],
                  [0.1005, 0.0992, 0.1006, 0.0997, 0.1005, 0.0995, 0.1001, 0.1013, 0.0998, 0.0987]])

sample = torch.multinomial(x, num_samples=1)
print(sample)

输出结果为:

tensor([[6],
        [7],
        [7]])

在这个例子中,我们使用torch.multinomial(x, num_samples=1)从输入张量x的每行作为概率分布中抽取1个样本。num_samples=1表示每行只抽取一个样本。结果是一个包含抽样索引的张量,其中每行的索引表示从对应行的概率分布中抽取的样本。

请注意,抽取的样本索引是以列的形式返回的,即每行一个索引。如果您想获取抽取的样本值而不是索引,可以使用索引操作符([ ])将索引应用于原始张量,如下所示:

y = torch.tensor([11,12,13,14,15,16,17,18,19,20])
sample_values = y[torch.arange(y.size(0)), sample.squeeze()]
print(sample_values)

在这个例子中,我们使用索引操作符[]将抽样索引应用于原始张量x,并通过squeeze()函数将结果的形状从(3, 1)变为(3,)。然后,我们得到了抽取的样本值的张量sample_values,其中每个元素表示从对应行的概率分布中抽取的样本值。

torch.multinomial()函数根据概率分布进行抽样,因此输入的概率分布应该是非负数且总和为1

如果您有一个离散数据集和一个目标信息熵值,您可以使用PyTorch来计算分布概率。以下是一个示例代码: ```python import torch import torch.optim as optim # 创建一个离散数据集 data = torch.tensor([1, 2, 2, 3, 3, 3, 4, 4, 4, 4]) # 定义目标信息熵值 target_entropy = 2.0 # 创建一个概率分布变量,并使用随机初始化 probabilities = torch.rand(len(torch.unique(data)), requires_grad=True) # 定义优化器和损失函数 optimizer = optim.Adam([probabilities], lr=0.01) criterion = torch.nn.MSELoss() # 迭代优化概率分布 for i in range(1000): optimizer.zero_grad() # 将概率归一化 probabilities_normalized = probabilities / torch.sum(probabilities) # 计算信息熵 entropy = -torch.sum(probabilities_normalized * torch.log2(probabilities_normalized)) # 计算损失函数 loss = criterion(entropy, target_entropy) # 反向传播和优化 loss.backward() optimizer.step() # 打印最终的概率分布 print("概率分布:", probabilities_normalized.detach().numpy()) ``` 在这个例子中,我们首先创建了一个离散数据集`data`,其中包含了一些整数值。 然后,我们定义了目标信息熵值`target_entropy`,它表示我们希望概率分布达到的熵值。 接下来,我们创建了一个概率分布变量`probabilities`,并使用随机初始化。由于我们希望优化这个变量,所以我们将其设置为`requires_grad=True`。 然后,我们定义了优化器(这里使用了Adam优化器)和损失函数(均方误差损失函数)。 接下来,我们开始迭代优化概率分布。在每次迭代中,我们首先将概率分布归一化,然后计算信息熵。然后,我们计算损失函数,并进行反向传播和优化。 最后,我们打印出最终的概率分布。请注意,在打印之前,我们使用`detach().numpy()`将概率分布转换为NumPy数组。 希望对您有所帮助!如有任何疑问,请随时提问。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

高山莫衣

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值