两个embeding信息的常见融合办法

1. 连接（Concatenation）
   将两个嵌入向量直接连接起来，形成一个新的更长的向量。

import torch

# 创建两个嵌入向量
embedding1 = torch.tensor([1.0, 2.0, 3.0])
embedding2 = torch.tensor([4.0, 5.0, 6.0])

# 连接嵌入向量
fused_embedding = torch.cat((embedding1, embedding2), dim=0)
print(fused_embedding)

2. 加法（Addition）
   将两个嵌入向量逐元素相加，形成一个新的向量。要求两个嵌入向量的维度相同。

import torch

# 创建两个嵌入向量
embedding1 = torch.tensor([1.0, 2.0, 3.0])
embedding2 = torch.tensor([4.0, 5.0, 6.0])

# 加法融合
fused_embedding = embedding1 + embedding2
print(fused_embedding)

3. 平均（Average）
   将两个嵌入向量逐元素平均，形成一个新的向量。要求两个嵌入向量的维度相同。

import torch

# 创建两个嵌入向量
embedding1 = torch.tensor([1.0, 2.0, 3.0])
embedding2 = torch.tensor([4.0, 5.0, 6.0])

# 平均融合
fused_embedding = (embedding1 + embedding2) / 2
print(fused_embedding)

4. 乘法（Element-wise Multiplication）
   将两个嵌入向量逐元素相乘，形成一个新的向量。要求两个嵌入向量的维度相同。

import torch

# 创建两个嵌入向量
embedding1 = torch.tensor([1.0, 2.0, 3.0])
embedding2 = torch.tensor([4.0, 5.0, 6.0])

# 乘法融合
fused_embedding = embedding1 * embedding2
print(fused_embedding)

5. 门控机制（Gated Mechanism）
   使用一个门控机制（如门控循环单元 GRU）来融合两个嵌入向量。

import torch
import torch.nn as nn

# 创建两个嵌入向量
embedding1 = torch.tensor([[1.0, 2.0, 3.0]])
embedding2 = torch.tensor([[4.0, 5.0, 6.0]])

# 定义 GRU 单元
gru = nn.GRU(input_size=3, hidden_size=3, batch_first=True)

# 初始化隐藏状态
h0 = torch.zeros(1, 1, 3)

# 通过 GRU 融合嵌入
_, fused_embedding = gru(embedding1.unsqueeze(0), h0)
print(fused_embedding.squeeze(0))

6. 注意力机制（Attention Mechanism）
   使用注意力机制来融合两个嵌入向量。

import torch
import torch.nn.functional as F

# 创建两个嵌入向量
embedding1 = torch.tensor([[1.0, 2.0, 3.0]])
embedding2 = torch.tensor([[4.0, 5.0, 6.0]])

# 定义注意力权重
attention_weights = F.softmax(torch.tensor([0.5, 0.5]), dim=0)

# 计算加权和
fused_embedding = attention_weights[0] * embedding1 + attention_weights[1] * embedding2
print(fused_embedding)

7. 线性变换（Linear Transformation）
   通过一个线性层将两个嵌入向量变换并融合。

import torch
import torch.nn as nn

# 创建两个嵌入向量
embedding1 = torch.tensor([1.0, 2.0, 3.0])
embedding2 = torch.tensor([4.0, 5.0, 6.0])

# 定义线性变换层
linear = nn.Linear(6, 3)

# 连接嵌入向量
concatenated_embedding = torch.cat((embedding1, embedding2), dim=0)

# 通过线性层进行变换
fused_embedding = linear(concatenated_embedding)
print(fused_embedding)