过程:
1)先把一篇文章,按逗号分隔成一个一个短语
![0cece9527ef00be55a1d2d4a1298bc6f.png](https://i-blog.csdnimg.cn/blog_migrate/cfd0917a3624c3abb2b8e39a3d3527b7.jpeg)
2)然后计算每个短语的字数
![0bf28c25ea3337146bfd79d8336167b0.png](https://i-blog.csdnimg.cn/blog_migrate/d0445ced2245c9e02d785d550244f057.jpeg)
3)前两个>10个字的短语,我们拿出来在百度搜索下,计算百度搜索结果中,完整出现该短语的次数。
若一个文章被其他网站大量转载,那么随便提取该文章中一个短语,都能在百度搜索出完全重复的内容:
![6ee018d7317f2d5a00eebfdf5db0470c.png](https://i-blog.csdnimg.cn/blog_migrate/c6b78674a68e519994408faee53cfa65.jpeg)
如果我们连续搜索两个短语,在百度搜索中,完全重复的结果很少,则可以一定程度代表该内容被其他站点大量转载的概率比较小,原创度较高
![0abc6d74d23388d38b3e707d80c9e28c.png](https://i-blog.csdnimg.cn/blog_migrate/577077f0f68a05a2f57dd903cdd89a4d.jpeg)
以上3个步骤,编写一个脚本来执行:
![6a78daea7689da61a609a9b8da869032.png](https://i-blog.csdnimg.cn/blog_migrate/aa511a81d5a3e9bf352b639bf613fdb0.jpeg)
左列是文章ID,右列是两个短语,在百度搜索结果中完整出现的次数。次数越大,重复度越高,具体数值达到多少,自己定义。比如本渣一般将>=30%定位重复度比较高的,即搜索2个短语,20个搜索结果中,完整出现该短语的结果有>=6个
#coding:utf-8
微信公众号---->右下角
![89f8b5c1f5d8a5c8d41ce6e2642edc39.png](https://i-blog.csdnimg.cn/blog_migrate/66fe7078c81acbe63d885d2b8ff118de.jpeg)