新浪微博热搜爬虫
本文详细介绍了爬取新浪微博热搜榜单的步骤,只需使用python软件本体和requests_html库即可完成,难度小,完成快,适合新手上手练习。
第一步:进入新浪热搜完整榜单页面,记录页面网址。
![在这里插入图片描述](https://img-blog.csdnimg.cn/20200507110302957.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkyMzc5MA==,size_16,color_FFFFFF,t_70#pic_center)
第二步:按F12,打开开发者工具。(使用Chorme浏览器)
![在这里插入图片描述](https://img-blog.csdnimg.cn/20200507110322244.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkyMzc5MA==,size_16,color_FFFFFF,t_70#pic_center)
第三步:点击开发者工具左上角图标,然后点选热搜榜中的文字,就可以找出热搜榜中的每一个在网页中的具体位置。
![在这里插入图片描述](https://img-blog.csdnimg.cn/202005071103378.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkyMzc5MA==,size_16,color_FFFFFF,t_70#pic_center)
第四步:在开发者工具中的蓝色部分右击鼠标,依次选择Copy–Copy selector,就可以获得到这个热搜位置的selector。
![在这里插入图片描述](https://img-blog.csdnimg.cn/20200507110401158.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkyMzc5MA==,size_16,color_FFFFFF,t_70#pic_center)
第五步:依次复制前几个热搜的selector,就可以发现规律——只需改变child()中的数字,从1到51,即可获得完整榜单的selector