上来就情感分析？我还是先用python去去重吧！

大家好

下面我给大家讲讲：为什么用python情感分析之前应该先去重！

1、原理说明

1)为什么要进行数据的句内去重？

在做情感分析的时候，有时候需要对文本进行分词，做词频统计。上图是某个店铺的留言数据，对于第26条，只是为了说明“东西很好，很好用!”，但是为了凑字数留言，就写成了如图所示。但是我们在进行词频统计的时候，只统计“东西很好，很好用!”一次就够了，因此，就需要用到“数据的句内去重”。

2)以“单字词”为例，进行原理说明

3)原理说明

通过上图可以发现，进行词语句内去重，首先判断位置j到j+1位置的元素是否相等，如果相等，再判断j+1处的元素和j+2处的元素是否相等，这样依次进行下去。

由于原理不好用语言，进行详细叙述，因此你可以好好琢磨一下下面的代码。对于不懂的地方，可以在博客中留言说明。

2、“单字词”句内去重

结果如下：

3、“双字词”句内去重

结果如下：

4、“三字词”句内去重

结果如下：

5、将上述情况，封装成函数

结果如下：