python 热词图_Python 爬取 热词并进行分类数据分析-[简单准备] （2020年寒假小目标05）...

日期：2020.01.27

博客期：135

星期一

【本博客的代码如若要使用，请在下方评论区留言，之后再用(就是跟我说一声)】

所有相关跳转：

a.【简单准备】(本期博客)

c.【拓扑数据】

d.【数据修复】

i . 【App制作】

j . 【安全性改造】

今天问了一下老师，信息领域热词从哪里爬，老师说是IT方面的新闻，嗯~有点儿意思了！

我找到了好多IT网站，但是大多数广告又多，名词也不专一针对信息领域，所以啊我就暂且用例一个相对还好的例子：

数据来源网址：https://news.51cto.com/(最终不一定使用此网站的爬取数据)

网站的相关热词来源截图：

如图，“智能”、“技术”、“区块链”为爬取目标

进行爬取(因为每一次执行js都会加重爬取任务的负担)，当你执行到第100次的时候，你现在要执行第101次的JS，它所消耗的时间大概是27s！所以，这种方法我就爬100次，得到5607条数据：

爬取代码：

1 importparsel2 from urllib importrequest3 importcodecs4 from selenium importwebdriver5 importtime6

7 #[ 对字符串的特殊处理方法-集合 ]

8 classStrSpecialDealer:9 @staticmethod10 defgetReaction(stri):11 strs = str(stri).replace(" ","")12 strs = strs[strs.find('>')+1:strs.rfind('

18 classStringWriter:19 filePath = ""

20 def __init__(self,str):21 self.filePath =str22 pass

23

24 defmakeFileNull(self):25 f = codecs.open(self.filePath, "w+", 'utf-8')26 f.write(