文章目录
前言
本文主要介绍了基于豆瓣评论的情感预测的NLP任务,是一个基础且很典型的二分类任务,包含了项目概述、用到的核心技术、项目实施和项目总结等核心部分,实现了一个NLP任务的完整流程。
一、项目概况
1.项目描述
豆瓣电影是一个中文电影社区,有很多互联网用户分享他们对电影的评论和观点,可以在电影上发表简短或长期的评论并给他们打分。
通过本项目的练习,熟悉一个文本分析任务的经典流程:
-
中文分词:这是处理中文文本数据的第一步。
-
文本预处理:这是所有 NLP 项目的前提,或多或少都会用到相关的技术,主要包括去停用词、去低频词等技术。
-
文本特征提取:任何建模环节都需要特征提取的过程,包括如何使用 tfidf、word2vec、bert embedding 等技术来设计文本特征,同时使用词向量特征构造句向量。
-
模型搭建和训练:使用机器学习分类模型来搭建算法模型,并进行训练和预测。
本项目是对豆瓣的评论进行情感预测,构建一个