爬取某著名评分网站影评，利用jieba分词实现简单的影评情感分析，最后由python绘图对结果可视化（三）

诺坎普的风间

已于 2022-11-27 13:29:07 修改

阅读量1.1k

点赞数 4

分类专栏： # python爬虫文章标签： python 爬虫数据分析

于 2022-11-27 00:00:33 首次发布

本文链接：https://blog.csdn.net/weixin_62588253/article/details/128058353

版权

python爬虫专栏收录该内容

8 篇文章 2 订阅

订阅专栏

*********************************************************************

该项目已经发布到github上了，有需要的朋友可以从这里获取

*********************************************************************

第二部分正文

（三）、利用jieba分词进行简单的情感分析和绘图

1.数据预处理部分

2.定义情感分析函数，用于从分词后的列表中

取出词频排名前20且长度大于1的情感词，作为这部电影的情感词

3.主函数部分，情感分析并为每部电影绘制词

云图，每个类型的电影绘制词频排名前20的情感词统计图

接该项目的上篇文章继续介绍（先把效果挂着）：

第二部分正文

（三）、利用jieba分词进行简单的情感分析和绘图

jieba分词是一个优秀的python中文分词包，里面有许多的功能这里就不一一介绍，而是利用其中的词性标注功能来完成本次情感分析的任务。首先看一下文本情感分析的定义：

所谓文本情感分析，又称意见挖掘、倾向性分析等。简单而言,是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。互联网(如博客和论坛以及社会服务网络如大众点评)上产生了大量的用户参与的、对于诸如人物、事件、产品等有价值的评论信息。这些评论信息表达了人们的各种情感色彩和情感倾向性,如喜、怒、哀、乐和批评、赞扬等。基于此,潜在的用户就可以通过浏览这些主观色彩的评论来了解大众舆论对于某一事件或产品的看法。（来自百度百科）

以上是百度百科对情感分析的定义，我这里结合那位同学的要求和分词结果的特性，采用了以下的策略：保留词性标注中所有的形容词，并只保留长度大于1的形容词来确保情感的完整表达。

1.数据预处理部分

# coding:   utf-8
# 作者(@Author):   榕城候佳人
# 创建时间(@Created_time): 2022/11/19 9:03
# 修改时间(@Modified_time): 2022/11/19 9:03

"""
    对电影评论提取关键词
"""


# 首先引入jieba分词包和自定义工具包utiliti（在项目代码中）的函数，方便绘制词云图、条形图和数据预处理。
import os

import jieba

from utility.draw_imgs import draw_pie
from utility.make_wordcloud import wordcloud_
from utility.preprocess import TextPreprocessor

# 实例化一个文本处理器，后续对影评的各种操作通过调用该处理器实现。
processor = TextPreprocessor(stopword_file="stopword_normal.txt")

2.定义情感分析函数，用于从分词后的列表中取出词频排名前20且长度大于1的情感词，作为这部电影的情感词。

def emotion_analyse(info: list):
    """
    情感分析,统计所有出现的情感词个数，取前20个做条形图
    :param:info:一个类型的电影的所有情感词
    :return:该类型电影下，字典形式的出现次数前二十的情感词
    """

    dict_word = {}
    for i in range(len(info)):
        # 情感词长度大于2
        if len(info[i]) == 1:
            continue
        if info[i] not in dict_word:
            dict_word[info[i]] = 1
        else:
            dict_word[info[i]] += 1
    word_sorted = sorted(dict_word.items(), key=lambda x: x[1], reverse=True)

    return word_sorted[:20]

3.主函数部分，情感分析并为每部电影绘制词云图，每个类型的电影绘制词频排名前20的情感词统计图

if __name__ == '__main__':

    # 打开不同类型电影影评所在文件夹
    classes = os.listdir('movie_comment')

    # 主循环
    for movie_class in classes:

        # 获得该类型电影下的所有电影影评所在文件
        movies = os.listdir('movie_comment/' + movie_class)

        # 存储整个类型下的不同影评信息
        whole_name = []
        whole_loc = []
        whole_time = []
        whole_agency = []
        whole_works = []
        whole_n = []
        whole_a = []
        whole_v = []
        whole_other = []

        # 获得单个电影的影评信息
        for movie in movies:
            with open(os.path.join('movie_comment/', movie_class, movie), 'r', encoding='utf-8') as f:
                # 读取整个影评文件
                sentences = f.read()

                """
                    每次循环保留一个电影所有影评形容词的词性标注的信息，
                    用于绘制后面整个类型的情感词统计图（这里只使用到了形容词）
                """
                whole_a.extend(processor.get_a(sentences))
                # whole_name.extend(processor.get_name(sentences))
                # whole_loc.extend(processor.get_loc(sentences))
                # whole_time.extend(processor.get_time(sentences))
                # whole_name.extend(processor.get_time(sentences))
                # whole_agency.extend(processor.get_agency(sentences))
                # whole_works.extend(processor.get_work(sentences))
                # whole_n.extend(processor.get_normal_n(sentences))
                # whole_v.extend(processor.get_verb(sentences))

                """利用文本处理器中的获取形容词的函数获得形容词列表，再
                    将李列表用空格连接成一个字符串用于构建词云图
                """
                wordcloud_(text=' '.join(processor.get_a(sentences)), file_path=movie_class,
                                file_name=movie[:-11] + '_情感词云图.jpg')

        """
            根据上面存储整个影评词性标注信息的列表，
            绘制该类型电影情感词的条形统计图
        """
        emotion_words = emotion_analyse(whole_a)
        path = os.path.join('./word_clouds', movie_class, movie_class + '_情感词语条形统计图.jpg')
        draw_pie(title=f"{movie_class}情感分析图", info=emotion_words, path=path)

        # 绘制该类型电影的情感词云图
        wordcloud_(text=' '.join(whole_a), file_path=movie_class, file_name=movie_class + "_情感词云图.jpg")
        print(f"完成{movie_class}部分")