上班用Python采集热搜榜，堪称摸鱼神器

本文链接：https://blog.csdn.net/2401_84140332/article/details/138364242

热榜首页：https://s.weibo.com/top/summary?cate=realtimehot


热榜首页的榜单中共五十条数据，在这个页面，我们需要获取排行、热度、标题，以及详情页的链接。


![在这里插入图片描述](https://img-blog.csdnimg.cn/c5a70bdb784f489dbccbc3fad40ea691.png)


我们打开页面后要先 登录，之后使用 F12 打开开发者工具，Ctrl + R 刷新页面后找到第一条数据包。这里需要记录一下自己的


Cookie 与 User-Agent。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/c4a81b491f7b4871bae16a621f71d4fd.png)


对于标签的定位，直接使用 Google 工具获取标签的 xpath 表达式即可。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/d1a4bf74753049548f6f7e36077af614.gif)


### 详情页


对于详情页，我们需要获取评论时间、用户名称、转发次数、评论次数、点赞次数、评论内容这部分信息。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/0770f68b4f3a4fd49b7a501e633cee6c.png)


方法与热搜页采集方式基本相同，下面看看如何用代码实现！


### 采集代码


首先导入所需要的模块。

python插件/素材/源码加Q群：903971231####
import requests
from time import sleep
import pandas as pd
import numpy as np
from lxml import etree
import re


定义全局变量。


•headers：请求头


•all\_df：DataFrame，保存采集的数据



**一、Python所有方向的学习路线**

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

![img](https://img-blog.csdnimg.cn/1d40facda2b84990b8e1743f5487d455.png)  
![img](https://img-blog.csdnimg.cn/0fc11d4a31bd431dbf124f67f1749046.png)

**二、Python必备开发工具**

工具都帮大家整理好了，安装就可直接上手！![img](https://img-blog.csdnimg.cn/ff266f529c6a46c4bc28e5f895dec647.gif#pic_center)

**三、最新Python学习笔记**

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

![img](https://img-blog.csdnimg.cn/6d414e9f494742db8bcc3fa312200539.png)

**四、Python视频合集**

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

![img](https://img-blog.csdnimg.cn/a806d9b941c645858c61d161aec43789.png)

**五、实战案例**

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。![img](https://img-blog.csdnimg.cn/a353983317b14d3c8856824a0d6186c1.png)

**六、面试宝典**

![在这里插入图片描述](https://img-blog.csdnimg.cn/97c454a3e5b4439b8600b50011cc8fe4.png)

![在这里插入图片描述](https://img-blog.csdnimg.cn/111f5462e7df433b981dc2430bb9ad39.png)

###### **简历模板**![在这里插入图片描述](https://img-blog.csdnimg.cn/646863996ac44da8af500c049bb72fbd.png#pic_center)




**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化学习资料的朋友，可以戳这里无偿获取](https://bbs.csdn.net/topics/618317507)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**