c#使用正则表达式获取TR中的多个TD_使用python+BeautifulSoup爬取微博热搜榜

最新推荐文章于 2022-05-30 11:05:02 发布

weixin_39533361

最新推荐文章于 2022-05-30 11:05:02 发布

阅读量495

点赞数 1

文章标签： c#使用正则表达式获取TR中的多个TD python beautifulsoup

本文介绍如何使用Python的BeautifulSoup库爬取微博热搜榜。通过解析网页源代码，提取rank、name和number信息。在提取过程中，注意到部分微博信息不在预期位置，需要额外处理。最后，数据以列表形式存储，可以进一步处理或输出到Excel文件。

摘要由CSDN通过智能技术生成

本文将介绍基于Python使用BeautifulSoup爬取微博热搜榜的实现过程

1、首先导入需要使用的库

from bs4 import BeautifulSoup
from urllib.request import urlopen
import re

2、打开网页，将饱满的网页做成美味的汤（滑稽）。

注意decode('utf-8')是为了解析并显示中文网站，features='lxml'是为了使用‘lxml’的格式进行解析。

url="https://s.weibo.com/top/summary?cate=realtimehot"
html=urlopen(url).read().decode('utf-8')
soup=BeautifulSoup(html,features='lxml')

3、重中之重——找规律

观察网页源代码，提取规律（即rank,name和number），我们以前三条为例子进行观察，可以发现rank信息都位于tr下td的class=''td-01 ranktop''中，name位于<a中的target=“_blank”中，而number位于'span'中。

关注