rostcm6情感分析案例分析_京东商品评论情感分析｜TF-IDF模型属性提取

1. TF-IDF的概念与算法

为研究小米10手机所具有的特殊商品属性，发掘该款手机的优缺点，继续保持该款手机的优势，弥补商品的弱势，为店铺运营提供策略，本文采用TF-IDF的方法来提取商品的属性。

TF-IDF的方法适用于用文本挖掘中，常用于商品的属性提取，该方法采用一种加权技术，统计该统计术语对文档重要程度，通过统计该统计术语对文档重要程度的反应，表示商品属性的重要程度。

每个特征词对于每个类别有不同的区分能力。通过特征选择来体现特征词的重要程度。它所属的类是单词集中的类，具有该类的特征。特征词必须均匀地分布在每一个类别文档中，如果随机地分布在某一个类别文档中，可能会出现该特征词仅出现在某个文档中，造成属性提取不准确。

常用信息增益函数IG和卡方值CHI对于评估函数进行特征选择，用卡方值CHI来衡量特征词的重要性，然而，卡方值CHI不能将特征词的重要性全部反映，所以，需要对卡方值CHI进行对数字化处理，通过数字化的处理，提高了特征选取的效率，以此，避免造成权重失衡。

2. TF-IDF提取商品属性

本文基于TF-IDF和改进的TF-IDF算法，使用ROSTCM6工具计算小米10手机产品的评论数据的TF-IDF值。借助ROSTCM6软件实现商品属性的提取，打开ROSTCM6软件的操作页面，在“功能性分析”菜单栏里点击“TF/IDF批量词频分析”功能菜单，导入文本数据，计算TF-IDF值。

计算出小米10手机评论的TF-IDF值，并且提取前十个商品属性TF-IDF值最大的，从而提取小米10手机商品的关键属性，并且做小米10手机TF-IDF值的柱形图，从直观上提取商品属性，计算结果如下下表所示：

图1 小米10手机最优商品属性

通过计算并且提取小米10手机商品的关键属性，做可视化分析后可以发现，小米10手机的屏幕属性TF-IDF值最大，体现为用户对于小米10手机的屏幕体验最佳，对于屏幕的评价最优，其次，小米10手机自带的拍照功能好，外观漂亮大方，运行速度快，音效好，都成为小米10手机的最优属性。