pytorch--新闻标题数据集文本分类

文章讲述了在文本分类任务中,如何利用已有的词嵌入对字符进行向量化处理,特别是对于通用任务如新闻标题分类,预训练的词嵌入能有效捕捉词汇的一般意义。同时提到,对于特定语境下的词汇,可能需要更专业化的词嵌入模型。文中以TestRNN模型为例,展示了加载npz格式的词嵌入并转换为Tensor的过程,以及LSTM模型的应用。
摘要由CSDN通过智能技术生成
  1. 数据预处理

词嵌入

先将字符处理为向量,我选择使用已经训练好的词嵌入。

为什么可以使用别人训练好的词嵌入?

比如:篮球,在不同语境下都是一样的意思,我们新闻标题分类任务,算是比较大众的任务,所以我们可以使用别人做好的词嵌入;有一些词汇,可能在不同语境下含义不一样,需要更加专业的词嵌入。

文本分类的十个类别分别是

  1. 构建模型

TestRNN

设置路径

将npz格式的embedding,用numpy读进来,然后转tensor格式

参数设置

lstm模型

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值