python爬虫微博热搜_微博热搜榜数据爬虫采集 - 八爪鱼采集器

采集场景

在微博热搜榜(https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6)可实时查看微博热搜排名、热搜关键词和热搜数。点击每个热搜关键词可进入与其相关的微博列表页。我们需要采集以上数据。

采集字段

微博热搜排名、热搜关键词、热搜数、账号、发布内容、发布时间、来源、转发数、评论数、点赞数、采集时间和页面网址等字段。

鼠标放到图片上，右键，选择【在新标签页中打开图片】可查看高清大图

下文其他图片同理

采集结果

采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例：

教程说明

本篇制作时间：2020/4/26八爪鱼版本：V8.1.8

如果因网页改版造成网址或步骤无效，无法收集到目标数据，请联系官方客服，我们将及时修正。

采集步骤

步骤一、打开网页，使用【智能识别】生成规则

步骤二、创建【循环列表】，采集所有微博列表中的数据

步骤三、修改【循环】的XPath，以去掉多余列表

步骤四、修改字段的XPath，以精准采集所有字段

步骤五、创建【循环-点击元素】，展开微博全文

步骤六、启动采集

以下为具体步骤：

步骤一、打开网页，使用【智能识别】生成规则

1、自动识别热搜词列表

在首页输入微博热搜榜网址 https