Python文本挖掘与情感分析实战案例

目录

摘要………………………………………………………………………1

第1章  项目背景和主要工作…………………………………………2

第2章  数据采集和预处理……………………………………………3

2.1 数据采集…………………………………………………………………3

2.2 数据预处理………………………………………………………………4

2.2.1 数据去重和清洗…………………………………………………4

2.2.2 数据分词及去掉停用词…………………………………………4

第3章  数据分析………………………………………………………5

3.1 评论数据的基础分析……………………………………………………5

3.1.1 好评与差评的占比………………………………………………5

3.1.2 消费者所在地区数量的分布……………………………………5

3.1.3 已销售商品规格数量的分布……………………………………6

3.1.4 地区与评价结合的分布…………………………………………7

3.1.5 规格与评价结合的分布…………………………………………8

3.2 评论数据情感倾向分析…………………………………………………9

3.2.1 匹配情感词………………………………………………………9

3.2.2 修正情感倾向……………………………………………………9

3.2.3 情感分析效果……………………………………………………10

3.3 基于LDA模型评论数据的主题分析 …………………………………11

    3.3.1 LDA主题模型……………………………………………………11

    3.3.2 LDA主题个数的确定……………………………………………11

    3.3.3 LDA主题结果分析………………………………………………12

第4章  总结建议及心得……………………………………………14

4.1总结与建议………………………………………………………………14

4.2心得体会…………………………………………………………………15

参考文献………………………………………………………………17

电商产品评论数据情感分析

                        ——以农产品樱桃为例

摘要

        随着电商助农项目的不断开展，网购农产品的人数逐渐增多，随之增长的还有助农电商企业的数目，在这个激烈竞争的背景下，除了提高农产品质量、压低价格外，深入了解消费者对农产品的评价具有重要的研究价值和实际意义。

        本文选取京东农产品樱桃的评论数据，对其进行基础的数据分析、情感分析和LDA主题模型分析。首先通过代码爬取京东平台某家水果店铺中樱桃的评论作为数据来源，并对评论数据进行预处理，包括评论去重、清洗、分词以及去除停用词等；其次对评论数据进行情感分析，主要利用情感词典匹配方法将爬取到的数据分为正面和负面两类，为了查看情感分析效果，使用了wordcloud包下的WordCloud函数分别对正面评论和负面评论绘制了词云图，以图形形式直观了解樱桃评论数据中潜在的信息，此外通过假定用户在评论时不存在“选了好评的标签，而写了差评内容”的情况，比较原评论类型与情感分析得出的评论类型，绘制情感倾向分析混淆矩阵，得出词表情感分析的准确率；最后对正负面评论数据进行LDA主题模型分析，研究影响消费者不同情感倾向的主要因素，这些因素也体现了京东农产品樱桃的主要特征以及消费者对农产品樱桃的关注点。

        通过研究得出本文的主要结论，从消费者对京东平台该店铺樱桃的情感倾向角度来看，有67.3%的消费者对该产品持有正面情感态度，但仍有32.7%的消费者持负面态度；从正负面评论词云图以及LDA主题挖掘可以看出，影响消费者产生积极情感的因素主要有樱桃的新鲜度、口感味道、个头大小以及物流配送速度，影响消费者产生消极情感的因素主要有樱桃的质量，售后服务质量以及价格差异。

        根据研究结论本文对不同主体提出不同的建议。对于京东平台来说，一是继续完善优化物流体系建设，二是加强农产品的包装管理，三是完善售后服务体系，提高消费者的购买体验；对商家来说，一是严格控制农产品质量，二是合理优化价格，完善自身服务；对消费者来说，一是购买农产品要了解清楚产品的损坏赔付情况，二是多关照商家优惠活动，以合适时机购买。

关键字：文本数据挖掘，情感分析，LDA主题分析模型

第1章 项目背景和主要工作

        近些年来电子商务随着互联网时代的到来而蓬勃发展，已经深深影响到我们日常的生活方式，网购无疑成为我们快节奏生活中不可或缺的一部分，网上购物不仅快捷简易，而且商品种类也很丰富，此外操作简单的在线付款以及强大的配送业务为我们的网购生活保驾护航，推荐系统也为我们提供更加个性化的商品。

        随着“互联网+商业”模式在中国的不断成熟，农村电子商务应运而生。党的十九大报告中明确提出的“乡村振兴战略”，为农村电商的繁荣发展奠定了政策基础，同时也为“乡村振兴战略”的开展提供了重要的动力。“电商助农”计划使得农产品在电商平台进行销售，新鲜美味的农产品该如何更好打开市场、带动经济，正是需要电商企业、地方政府、农业工作者面临的共同难题。[1]

        人民生活质量的提高以及网络购物的普及，都促进了消费观念和消费方式的转变，人们更关注于安全健康、高质量的食品，也更关注消费方式的便捷性。网络购物虽然为人们购买商品带来了方便，但线上消费的非实体性，也使网络购物具有局限性，消费者只能通过商品详情来判别商品样式、品质，这可能导致所购商品与实物不符。消费者处于这种信息不对称的情况下可能会做出错误的购买判断，因此其他消费者的购买经验就为潜在消费者做出购买决策提供了经验支持。

        消费者的购买经验往往以在线评论的形式展示出来，网络评论作为消费者在选择产品时的主观体验,为消费者认识产品以及商家售后服务提供了信息支撑，给潜在消费者的购物习惯与态度带来了重要改变，也为商家和平台了解消费者需求提供了数据支撑。[2]

        但随着网购人数以及购买经验的增加，在线评论数据规模也随之扩大，从众多评论数据中找到有助于购买决策的信息对消费者来说愈发困难，此外商家从如此繁杂庞大的评论中获取有助于经营决策的信息也成为一件难事。如何将评论信息有效的利用并反馈给消费者和商家成为各界亟需探讨的问题。此外，在线评论是一种中文自然处理语言，目前所用的数据挖掘方法不能有效直接的识别，但文本挖掘技术的兴起