超级会员免费看
本文介绍了如何使用WordAVGModel进行情感分析，并结合Attention机制改进模型。通过电影评论数据集进行预处理，利用torchtext进行数据加载和处理。在模型训练中，使用BCEWithLogitsLoss损失函数和Adam优化器，通过分析词向量的L2 norm发现情感相关性强的单词。接着引入Attention机制，分析词向量与attention向量的余弦相似度，发现情感相关单词的Attention权重分布特点。
电影评论数据集进行情感分析
- 通过torchtext 数据预处理
- 定义WordAVGModel
- 引入Attention加权平均机制（参考transformer中attention中dot product实现机制，这里 cosine_similarity 计算attention）
- 二分类任务 BCEWithLogitsLoss 计算损失，通过Adam算法优化参数
- 模型训练过程引入Mask 来对padding的数据进行处理
- 模型训练过程权重参数的初始化设置，实验证明可能会影响模型收敛速度
- 效果分析
文章目录
导入库
import torch
import torch.nn as nn
import pandas as pd
import numpy as</
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
