NLP基础-BOW-影评分类

最新推荐文章于 2023-12-09 07:56:52 发布

Yuhua Wang

最新推荐文章于 2023-12-09 07:56:52 发布

阅读量1.1k

点赞数

分类专栏： NLP 文章标签： python nlp dynet

本文链接：https://blog.csdn.net/u011068475/article/details/78835074

版权

本文介绍了如何使用Python和Dynet框架实现基于BOW（Bag of Words）的影评分类。首先，通过读取数据并使用defaultdict构建词典，然后初始化模型和训练数据。接着，利用词频和标签数创建权重，计算每个样本在不同标签下的得分。通过100次迭代训练，以负对数似然作为损失函数进行反向传播，最终评估模型在验证集上的预测准确率。

摘要由CSDN通过智能技术生成

本文使用方法来自CMU课程《Neural Networks for NLP》

1. BOW Bag of words

2. 语言python

3. 框架dynet

ps. 英文注解写得不好，望见谅

图解
这里写图片描述

第一部分数据读取
1. 采用collections.defaultdict创建出可自增词典w2i(word to index)，t2i(tag to index)
2. 在读文件部分用yield方法返回循环结果，降低内存占有率

from collections import defaultdict
import time
import random
import dynet as dy
import numpy as np

# Functions to read in the corpus
# to initialize a dictionary with value of its length
# for example input w2i["a"], it will automatically give 0 to w2i["a"], t