expand和unsqueeze在一些情况使用的含义

情况一

input:

1 2 3 4 5 6

import torch # a 模拟的是: batch_size: 2, sequence_length:3, feature: 4 a = torch.arange(24).reshape(2, 3, 4) # b 代表的是: feature: 4 * 4 b = a.unsqueeze(2).expand(-1, -1, 4, -1) # shape: torch.Size([2, 3, 4, 4])

output:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

a[0] >>> tensor([[ 0, 1, 2, 3], [ 4, 5, 6, 7], [ 8, 9, 10, 11]]) b[0] >>>tensor([[[ 0, 1, 2, 3], [ 0, 1, 2, 3], [ 0, 1, 2, 3], [ 0, 1, 2, 3]], [[ 4, 5, 6, 7], [ 4, 5, 6, 7], [ 4, 5, 6, 7], [ 4, 5, 6, 7]], [[ 8, 9, 10, 11], [ 8, 9, 10, 11], [ 8, 9, 10, 11], [ 8, 9, 10, 11]]])

换种说法就是:

a: [B, L, F]
b: [B, L, F, F]

每个字对应一个[F, F]的矩阵
这个矩阵的第i行第j列的元素的含义是：上一时刻tag为i, 这一时刻tag为j的分数。比如应用到一阶马尔可夫相关的模型中。

情况二(这种情况没真实测试过，需谨慎对待)

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

# b 代表的是: sequence length: 3 * 3 b = a.unsqueeze(1).expand(-1, 3, -1, -1) # shape: torch.Size([2, 3, 3, 4]) b[0] tensor([[[ 0, 1, 2, 3], [ 4, 5, 6, 7], [ 8, 9, 10, 11]], [[ 0, 1, 2, 3], [ 4, 5, 6, 7], [ 8, 9, 10, 11]], [[ 0, 1, 2, 3], [ 4, 5, 6, 7], [ 8, 9, 10, 11]]])

即这个长度为3的句子形成一个首尾的矩阵，最后一维代表相关的概率。

比如在嵌套ner任务中，

	我	爱	北	京
我
爱
北	0.03	0.02	0.05	0.9
京