python爬取新浪微博签到发布位置（含经纬度信息）数据（10W+）（附源码）

于 2024-04-06 18:49:56 发布
阅读量954 收藏 6
点赞数 10
分类专栏： 爬虫 文章标签： python 新浪微博 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Dalu_1226/article/details/137429993
版权

python爬取新浪微博签到发布位置（含经纬度信息）数据

爬取微博信息包含发布位置和经纬度

在这里插入图片描述

爬取微博信息包含发布位置在深圳的微博信息含经纬度

在这里插入图片描述

爬取微博信息包含“抑郁，无助，焦虑，悲观”等关键词的微博信息（含发布位置）

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

开源数据集

链接：https://pan.baidu.com/s/1eM4yAZcfEtfOXMS9aSIERg?pwd=8zg8
提取码：8zg8
–来自百度网盘超级会员V3的分享

可定制爬取
详情添加VX: AI_xiaoao

AI博士小张
关注
  • 10
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
python爬虫签到数据_【Python项目】爬取新浪微博签到页
weixin_39943000的博客
12-06 967
基于微博签到页的微博爬虫1 实现功能这个项目是用来爬取微博签到页的微博数据(每三个小时爬一次)，并写进sqlite数据库。关于微博签到页打个比方，就是类似这个https://weibo.com/p/100101B2094757D069A7FE449F顺便一说，这个页面是不用微博登录就可以访问的。所以方便很多啊(不用模拟登录)。2 依赖环境使用的是Python 3.7(在云上用过3.5也完全ok)。...
粗暴版分布式+IP池爬取微博签到数据
qq_41727987的博客
02-15 872
问：如何多线程？ 答：
提供新浪微博爬虫代码，爬取某个地点发布的微博
09-20
提供新浪微博爬虫代码，爬取某个地点发布的微博，包含该地所有人发布的个人微博内容。
新浪微博爬虫，用python爬取新浪微博数据
02-07
本程序可以连续爬取一个或多个新浪微博用户（如胡歌、迪丽热巴、郭碧婷）的数据，并将结果信息写入文件或数据库。写入信息几乎包括用户微博的所有数据，包括用户信息和微博信息两大类。因为内容太多，这里不再赘述，详细内容见获取到的字段。如果只需要用户信息，可以通过设置实现只爬取微博用户信息的功能。本程序需设置cookie来获取微博访问权限，后面会讲解如何获取cookie。如果不想设置cookie，可以使用免cookie版，二者功能类似。 爬取结果可写入文件和数据库，具体的写入文件类型如下： txt文件（默认） csv文件（默认） json文件（可选） MySQL数据库（可选） MongoDB数据库（可选） SQLite数据库（可选） 同时支持下载微博中的图片和视频，具体的可下载文件如下： 原创微博中的原始图片（可选） 转发微博中的原始图片（可选） 原创微博中的视频（可选） 转发微博中的视频（可选） 原创微博Live Photo中的视频（免cookie版特有） 转发微博Live Photo中的视频（免cookie版特有）
基于python爬取新浪微博爬虫以及生成词云源码+源代码+文档说明
01-12
基于python爬取新浪微博爬虫以及生成词云源码+源代码+文档说明 - 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ <项目介绍> 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------
基于python的微博数据采集_数据采集（一） 利用python(weibopy库)轻松获取微博API评论数据...
weixin_39685578的博客
11-29 342
以前用过一次sinaweibopy3来获取新浪的数据，但是太麻烦了！！！经过研究之后，发现weibopy库比sinaweibopy3方便很多，简单易懂方便上手，短短几行代码就能搞定，于是决定分享出来。环境：python3.7准备：pip install weibopypip install webbrowser网站：https://m.weibo.cn/提前申请新浪微博的app_key和app_s...
爬取微博签到页（二）——redis构建IP代理池（不花钱方法）
KHASIX的博客
02-08 2435
接上文所述，在购买了IP代理之后， 需要用redis进行IP代理池的构建 1.理想化的IP代理是这样滴 proxies= { #下面的这些代理是一次性生成的，事实上动态生成需要每隔一个时间间隔就刷新购买到的API "http":"http://111.127.119.230:13456", "http":"http://221.230.216.211:13456", "http":"http://111.75.125.219:13456", "http":"http://.38.241.10
新浪微博数据
10-18
利用新浪微博API下载的数据，并利用相关算法进行标记
微博数据-详细的微博数据
01-31
微博数据-详细的微博数据，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，
微博签到打卡poi数据（2018年1月-2022年）
李桥桉的博客
10-07 2208
获取全国任意城市签到数据，后台私信：微博签到。以南京微博签到数据_2020年07月为例。微博签到打卡poi数据。
xinlangweibo:爬取新浪微博的数据
07-14
抓取新浪微博数据, python学的不多, 代码写的比较烂 需要一些依赖： sudo pip install xlrd sudo pip install xlwt sudo pip install httpie
7-全国分省微博签到数据2019年10月wgs84坐标系-天津.zip
03-31
7-全国分省微博签到数据2019年10月wgs84坐标系-天津.zip
10-全国分省微博签到数据2019年10月wgs84坐标系-上海.zip
03-31
10-全国分省微博签到数据2019年10月wgs84坐标系-上海.zip
34-全国分省微博签到数据2019年10月wgs84坐标系-安徽.zip
03-31
34-全国分省微博签到数据2019年10月wgs84坐标系-安徽.zip
python爬取地点经纬度轮廓信息
03-18
python爬取的地点的轮廓信息，主要作用为输入地点的名称返回一个地点的经纬度围栏，本程序爬取的基础为百度地图
基于python爬取新浪微博爬虫以及生成词云源码+源代码+文档说明（高分项目）
最新发布
05-31
基于python爬取新浪微博爬虫以及生成词云源码+源代码+文档说明（高分项目）本资源中的源码都是经过本地编译过可运行的，评审分达到95分以上。资源项目的难度比较适中，内容都是经过助教老师审定过的能够满足学习、...
基于python爬取新浪微博爬虫以及生成词云源码（高分项目）.zip
05-14
基于python爬取新浪微博爬虫以及生成词云源码（高分项目）.zip个人经导师指导并认可通过的98分大作业设计项目，主要针对计算机相关专业的正在做课程设计、期末大作业的学生和需要项目实战练习的学习者。 基于python...
python爬取某人所有微博_python爬取微博用户关注和粉丝的公开基本信息
weixin_39980841的博客
10-22 1578
前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。作者：TM0831转载：https://www.cnblogs.com/TM0831/p/9974718.htmlPS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取python学习交流群，点击即可加入，期待你的加入此次爬虫要实现的是爬取某个微博用户的关注和粉丝...
python 爬取新浪微博签到数据
05-30
首先，你需要安装 requests, BeautifulSoup4 和 pandas 库。 接下来，你需要登录新浪微博并获取你的 Cookie 值。 然后，你可以使用 requests 库发送 HTTP 请求并使用 BeautifulSoup4 库解析响应内容。你需要找到微博签到的 API 地址，并向其发送请求，以获取签到数据。 最后，你可以将数据存储到 pandas 的 DataFrame 中，以便进一步分析和处理。 以下是一个示例代码，供你参考： ```python import requests from bs4 import BeautifulSoup import pandas as pd # 在这里输入你的 Cookie 值 cookie = "" # 构造请求头 headers = { "Cookie": cookie, "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"} # 发送 HTTP 请求并解析响应内容 url = "https://weibo.com/ajax/profile/signin/dailyaccumulation" response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, "html.parser") # 提取签到数据并存储到 DataFrame 中 data = [] for item in soup.select(".WB_detail"): date = item.select_one(".W_f14").text status = item.select_one(".W_textc").text data.append([date, status]) df = pd.DataFrame(data, columns=["date", "status"]) print(df) ``` 注意：这个代码仅供参考，具体实现方法可能因为新浪微博网站的更新而有所变化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值