基于大数据的电商产品评论数据分析与可视化--Python

基于大数据的电商产品评论数据分析与可视化

1.1背景与意义

随着电子商务领域的迅猛扩张，电商平台累积了海量的用户评价信息。这些建议不只是包含了消费者对产品的评价和经验分享，更重要的是，它们包含了丰富且价值巨大的信息。深度分析在线用户反馈不仅揭示了消费者实际的感受和需求，对企业作决策和提升市场地位有着关键作用。

1.2本文的主要研究内容

本文旨在通过深入研究和分析，探索网站数据爬取和电商产品评论数据的情感分析两个关键环节，为电商平台提供更为精准的消费者行为洞察和产品优化建议。具体研究内容分为以下两部分：
1、在抓取网站数据的环节，本文首先阐述了定位到大众点评网站商家评论区的过程，并通过网页结构分析来识别需要抓取的信息。紧接着，文章深入解释了如何搜索并确认在CSS文件中所需的加密字体的文件，以及如何将网页内容下载至电脑进行分析，从而确定字体文件内的加密的字符及其对应的映射位置。进一步，文中描述了如何从CSS文件提取出所有类的坐标信息，并利用这些数据破译文本，以便最终收集并存储所需数据。
2、在完成数据爬取后，文章转向对电商产品评论数据的情感分析，首先进行数据预处理，包括评论的去重、清洗，以及基于自然语言处理技术的评论分词，词性标注和去除停用词操作。通过这一系列的预处理步骤，为准确分析评论数据奠定了基础。接着，利用词云技术直观展示了分词的效果，以便快速识别出评论中的核心议题。最关键的部分，文章深入讨论了构建情感分析模型的方法，包括采用机器学习和深度学习技术构建模型，以准确判断评论的情感倾向。最后，通过应用LDA主题模型，进一步分析了评论数据，旨在提取出消费者对产品特征的情感倾向，从而揭示消费者的真实感受和产品的改进方向。

2数据准备

2.1电商产品数据采集

2.1.1店铺页面分析

数据来源于大众点评网站的店铺评论部分。首先，我们开始通过访问大众点评网站并导航至其店铺评论部分，这里我们会立刻注意到一个非常特别的现象：评论部分的字体采用了SVG型的加密处理方式，这一点从图2-1中可以明显看出。当我们尝试刷新页面以观察变化时，不难发现这些加密的字体每次刷新后都会经历一定的变化，这引起了我们的进一步好奇。为了深入了解背后的机制，我们决定探索网页的源代码，并仔细检查了网页所引用的所有CSS文件。通过这一系列的探索和分析，我们最终锁定了一个特定的CSS文件，这个文件似乎扮演了关键的角色。我们现在需要编写代码来获取到这个特定CSS文件的URL，这将是我们破解SVG字体加密处理的关键一步。

图2-1 店铺页面评论
随后的分析步骤涉及打开指定的CSS文件，并在其中定位到先前页面中加密字体所对应的类。通过搜索，能够找到与加密字体相关的坐标信息，此时的任务便是寻找相应的加密字体文件。进一步的审查揭示了三种不同的字体文件被列在文件中。通过逐一访问这些字体文件的URL，我们确定了唯一一个SVG格式的字体文件为我们所需。尝试访问这些字体文件的URL之后，我们确定了最大的文件——也就是出现频率最高的那个文件——为目标字体文件。直接通过URL查看无法明确知道文件的大小，因此实际上访问这些URL成为了识别正确字体文件的必要步骤。紧接着，就需要访问URL以下载字体文件的内容，并将最大的那个字体文件保存下来，以便之后进行字体替换工作。

2.1.2字体的映射关系

在成功获取到加密的字体文件之后，我们便有了机会在本地进行更深入的探索，以便确定加密的文本文件与实际显示文本之间的对应的映射关系。这个过程尤为关键，因为每当页面被刷新时，引用的CSS或SVG文件内容都会发生动态的变化，这包括加密用的文字也会随之变化。利用下载到本地版本作为基准进行探索，这样做的目的是，通过与本地保存的固定版本进行对比，来尝试理解和解码加密文字的规律。经过多次尝试，发现规律，两个数字第一个数字除以14，就是文字的下标。如图2-2所示，数字为-406，除以14。下标就是29，第二个数字就在两个y值中间。根据规律就可以匹配出所有加密的文字和对应的坐标映射关系。

图2-2 字体映射关系
如此，可以知道，网页中获取对应的css文件为加密字体的x和y的坐标，如图2-3所示。SVG文件为加密字体的映射表，也可以理解为密码本，如图2-4所示。

图2-3 加密字体的坐标

图2-4 加密字体的映射表

2.1.3解密文字

采用正则表达式来处理字体文件，首先是从中提取出加密文字的x和y坐标值，这些值存储为一个元组，判断时获取加密文字的坐标y值是否在元组两个值中间即可。然后将取出所有的数据保存到类中的字典。

2.1.4保存数据

控制台打印以及保存到本地的csv文件，数据为2000条，部分数据如图2-5所示。字段说明，