无法get_word_embedding(text)

def get_word_embedding(word):
    input_ids = tokenizer.encode(word, return_tensors='pt', padding=True, truncation=True, max_length=128)
    with torch.no_grad():
        output = Bertmodel(input_ids)
        last_hidden_states = output.last_hidden_state  # 获取最后一层隐藏状态(向量表示)
        attention_mask = output.attentions  # 获取每层的注意力分布
    # 使用注意力分布计算加权平均向量表示
    word_embedding = torch.matmul(attention_mask, last_hidden_states).mean(dim=1).squeeze().numpy()
    return word_embedding

X_embeddings = [get_word_embedding(text) for text in X]
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值