微博爬虫——爬取指定范围内所有帖子包含的定位信息的方法

最新推荐文章于 2025-04-08 11:34:51 发布

yanmomo_

最新推荐文章于 2025-04-08 11:34:51 发布

阅读量1w

点赞数 3

本文链接：https://blog.csdn.net/ly_0228/article/details/51801547

版权

本文介绍了一个使用Python Selenium爬取微博指定范围内的定位信息的方法。首先通过登录微博，然后利用高级搜索获取数据源URL，接着循环抓取含有定位信息的帖子URL并存储到数据库。之后读取数据库中的URL，访问每个帖子，提取地点名称、地点描述或类型和地址，并保存到数据库中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.登录（python selenium.webdriver实现）

2.用微博高级搜索找到数据来源（url），图3为数据源url截图

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

yanmomo_

关注关注

3
点赞
踩
36

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Java爬虫新浪微博的帖子

最自由的笑的博客

02-02

1814

需求分析最近新型肺炎肆虐寒假在家闲来无事就突发奇想，爬取新浪微博中与肺炎患者自救有关的帖子以texcel形式保存起来做一些分析。经过一番折腾，最终使用webMagic框架成功爬取了200个微博页面共3263条帖子。立图为证环境搭建首先创建一个空的maven工程。在pom.xml文件引入相关依赖 <dependencies> <!-- 读写ex...

Python爬虫——爬取博物馆新闻 + 情感倾向分析 + 导入数据库

weixin_43407455的博客

05-12

2549

一、环境 windows10 python3.7 mysql8（本地+阿里云）二、出现的问题这是一个小组任务，而且对于每个人来说都是全新的知识，但是在前期没有充分沟通学习方式，导致大家各自学习，走了许多弯路。三、爬虫思路由于本人是初学者，有说的不对的地方敬请指正。首先，要找一个教程，B站上有很多，不要看书或者看博客，因为视频能展示更多信息，很多会踩的坑是很难用文字一一表述出来的，那样会使文章显得臃肿，而在视频里可能就是半分钟的debug，而且视频能帮你快速建立对新知识的整体认识。举例来说，

2 条评论您还未登录，请先登录后发表或查看评论

微博数据爬取

fasdaegaw的博客

07-24

344

【代码】微博数据爬取。

scrapy 爬取微博(五)【最新超详细解析】: 爬取微博文章

roccreed的专栏

09-30

1041

微博scrapy爬虫编写

基于网络爬虫技术：通过POI经纬度获取微博签到数据实战

最新发布

weixin_47529004的博客

04-08

1433

本文将详细介绍如何通过网络爬虫技术，结合POI（Point of Interest）数据的经纬度信息，在微博平台上获取特定地点的签到数据。文章将涵盖从前期准备、爬虫实现、数据解析到数据存储与分析的全过程，旨在为对社交媒体数据挖掘感兴趣的开发者提供实用的技术指南。

提供新浪微博爬虫代码，爬取某个地点发布的微博

09-20

提供新浪微博爬虫代码，爬取某个地点发布的微博，包含该地所有人发布的个人微博内容。

微博位置爬虫发布

月小水长

09-17

2523

爬虫系列（2）：暴力爬虫——基于selenium和xpath定位方法爬取某个话题下的微博内容

weixin_42466310的博客

04-03

5406

插入selenium库

Python 爬虫“王者”：微博信息爬取

人生苦短，还不用Python？

09-28

4586

这里的微博爬虫，我主要实现的是输入你关心的某个大 V 的微博名称，以及某条微博的相关内容片段，即可自动爬取相关该大 V 一段时间内发布的微博信息和对应微博的评论信息。 Cookie 获取与上面的 Boss 直聘网站类似，爬取微博也需要获取响应的 cookie。用浏览器打开微博页面，拷贝出对应的 Cookie，保存到本地。微博搜索既然是某位大 V，这里就肯定涉及到了搜索的事情，我们可以先来...

爬虫小实战——爬取mooc讨论区内容

Ctermelon的博客

01-27

4790

@TOC在这里插入代码片欢迎使用Markdown编辑器你好！这是你第一次使用 Markdown编辑器所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设...

爬虫——练习-爬取一定范围内的页面数据

起风了

03-19

1528

爬取前三页的数据第一次写的代码： # 综合项目实战：爬取搜狗，知乎某一词条对应的某一范围页码的数据 # 分析下爬取第一页的url和第二页的url，get请求参数中只有page在变，把url固定，变量封装 import requests url='http://zhihu.sogou.com/zhihu?' headers={ "User-Agent":"Mozilla/5.0 (Windo...

Python爬取——目前考研招生学校的专业信息及考试范围（研招网）

05-28

压缩包内包含已爬取成功的全部信息和完整代码，导入后即可使用已爬取的信息：全部的省份，全部的学校以及其全部专业的院系所和研究方向，以及招生人数和考试科目。使用的库：from bs4 import BeautifulSoup import...

python爬取新浪微博签到发布位置（含经纬度信息）数据（10W+）

Dalu_1226的博客

04-06

2467

链接：https://pan.baidu.com/s/1eM4yAZcfEtfOXMS9aSIERg?详情添加VX: AI_xiaoao。–来自百度网盘超级会员V3的分享。

微博热搜榜、热点、帖子、评论爬虫---Scrapy框架、Selenium

weixin_42122125的博客

06-09

2326

动手前准备了解内容 Ajax内容了解链接第三方库 pip install scrapy -i https://pypi.douban.com/simple/ pip install selenium -i https://pypi.douban.com/simple/ pip install pymysql -i https://pypi.douban.com/simple/ pip install requests -i https://pypi.douban.com/simple/ pip ins

微博爬虫WeiboSpider：强大而易用的微博数据采集工具

gitblog_00989的博客

08-09

3450

微博爬虫WeiboSpider：强大而易用的微博数据采集工具项目地址:https://gitcode.com/gh_mirrors/weibo/WeiboSpider 1. 项目介绍概览 WeiboSpider是一款专为收集新浪微博数据设计的强大工具。它不仅能够有效地从微博平台上获取各种类型的信息，还具备高度的灵活性和扩展性，适用于科研、商业情报搜集以及社交网络分析等多种场景。主要特性 A...

【悬赏】微博签到坐标经纬度爬取

weixin_45846104的博客

05-14

4176

需要2019年新浪微博某景区签到的信息，包括：经纬度坐标+时间+文字内容可能直接抓取网页抓不到，要通过微博API好像时间当然越快越好示例网页：网址1： https://m.weibo.cn/p/index?containerid=2306570042B209465CD66DA4F4499D&luicode=10000011&lfid=2306570042B209465CD66DA4F4499D 网址2： https://weibo.com/p/100101B209465CD66DA4

悬赏：爬取成都市一周以内微博签到数据的地理坐标以及时间。

weixin_39417519的博客

01-24

2656

悬赏：爬取成都市一周以内微博签到数据的地理坐标以及时间。欢迎使用Markdown编辑器你好！这是你第一次使用 Markdown编辑器所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮...

python实现微博爬虫【scrapy框架】

weixin_52938961的博客

04-02

3461

python实现微博爬虫【scrapy框架】

景点评论爬虫之微博爬虫和携程爬虫

qq_32531519的博客

04-15

1971

最近帮同学写了个爬虫，爬取微博上景点评论以及携程上景点评论.下面都是以景点夫子庙为例微博爬虫在微博搜索夫子庙关键词，然后得到网页链接，我们用审查元素分析，应该是ajax模式，于是得到它的请求头，分析它的参数，应该就是只有一个page变量.其请求头网页. 接下来我们就可以爬取在夫子庙这个地点发的微博了．注意，因为第一页有点不一样，所以我是从第二页开始爬取的，不过微博有个反爬机制，你最多只能...