微博粉丝个人信息爬取

最新推荐文章于 2021-04-20 22:11:34 发布

Cafe_lip

最新推荐文章于 2021-04-20 22:11:34 发布

阅读量2.3k

点赞数 1

文章标签： p

本文链接：https://blog.csdn.net/Cafe_lip/article/details/84629560

版权

首先分析微博网页端的两个页面，发现weibo.com只能获取博主前五页的粉丝列表，weibo.cn能获取前20也粉丝列表。于是分析手机端，本人用手机试着划了下博主粉丝页，发现也只能获取两千左右的粉丝数，目前没有找到更好的方法获取全部粉丝。

用Charles抓取手机端博主粉丝页请求，发现一个接口可以返回粉丝json数据，url中since_id用来翻页，通过拼接url实现翻页请求，jsonpath抓取粉丝id。

利用weibo.cn这个简洁版页面获取粉丝信息

通过拼接url：www.weibo.cn/"粉丝ID"/info获取粉丝详细信息

xpath抓取详细信息

大概目前想到就这么多第一篇项目博客写的很乱有需要可以留言交流

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Cafe_lip

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

Python爬虫：微博粉丝列表

weixin_45342712的博客

08-07

3485

直接上爬虫代码如果你对python感兴趣，我这有个学习Python基地，里面有很多学习资料，感兴趣的+Q群：688244617 import requests import re tmpt_url = 'https://weibo.com/p/1005051678105910/follow?page=%d#Pl_Official_HisRelation__59' def get_data...

python爬微博粉丝_Python爬虫：微博粉丝列表

weixin_39934613的博客

11-28

433

importrequestsimportretmpt_url= 'https://weibo.com/p/1005051678105910/follow?page=%d#Pl_Official_HisRelation__59'defget_data(tmpt_url):urllist= [tmpt_url%i for i in range(1,6)]user_id= [] #粉丝IDuser_na...

参与评论您还未登录，请先登录后发表或查看评论

微博粉丝爬取

baidu_32542573的博客

05-26

2179

https://blog.csdn.net/dumpdoctorwang/article/details/80298649

微博粉丝-爬虫-记录

学无止境

02-13

2030

1.新浪微博wap站，结构简单，速度应该会比较快，而且反扒没那么强，缺点是信息量会稍微缺少一些 2. 主要使用 scrapy 爬虫框架。下载中间件会从Cookie池和User-Agent池中随机抽取一个加入到spider中。start_requests 中根据用户ID启动四个Request，同时对个人信息、微博、关注和粉丝进行爬取。将新爬下来的关注和粉丝ID加入到待爬队列（先去重）。

新浪微博爬虫功能包括爬取用户信息关注粉丝爬取超级话题用户及粉丝相关信息

08-10

新浪微博爬虫，功能包括：爬取用户信息、关注、粉丝，爬取超级话题用户及粉丝相关信息

Scrapy微博一站式爬取（可用）

05-12

这个项目旨在全方位地获取微博平台上的各类信息，包括但不限于用户资料、粉丝列表、关注列表、微博内容及其评论、特定关键词的微博以及微博的转发情况。下面我们将详细探讨这一项目的实现原理、涉及的技术点以及可能...

python爬微博个人信息_新浪微博数据爬取Part 1：用户个人信息

weixin_42511338的博客

01-13

4167

从上一篇博文到现在，已有一月有余，期间发生了许多事情，庆幸地是博主终于想开了，有的时候，那些无法改变的人或事，就让TA 去吧，不必多多挂怀，趁着还有时间，做些自己喜欢的事情。此前在模拟新浪微博登录：从原理分析到实现这篇博文中讲解了如何登陆新浪微博，虽然模拟登录看似比较复杂，但将其过程理解透彻之后，你会觉得它其实也比较简单。实现了登录，接下来就是新浪数据的爬取。本文是数据爬取的第一部分，以Pytho...

python爬取某人所有微博_python爬取微博用户关注和粉丝的公开基本信息

weixin_39980841的博客

10-22

1630

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。作者：TM0831转载：https://www.cnblogs.com/TM0831/p/9974718.htmlPS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取python学习交流群，点击即可加入，期待你的加入此次爬虫要实现的是爬取某个微博用户的关注和粉丝...

python怎么爬取新浪微博数据_新浪微博爬虫，用python爬取新浪微博数据

weixin_39747293的博客

12-03

3325

Weibo Spider本程序可以连续爬取一个或多个新浪微博用户(如胡歌、迪丽热巴、郭碧婷)的数据，并将结果信息写入文件或数据库。写入信息几乎包括用户微博的所有数据，包括用户信息和微博信息两大类。因为内容太多，这里不再赘述，详细内容见获取到的字段。如果只需要用户信息，可以通过设置实现只爬取微博用户信息的功能。本程序需设置cookie来获取微博访问权限，后面会讲解如何获取cookie。如果不想设置...

基于Requests和Ajax分析法的新浪微博内容及用户信息爬取

gf_lvah的博客

04-18

878

1 项目介绍新浪微博：新浪微博是一个由新浪网推出，提供微型博客服务类的社交网站。用户可以通过网页、WAP页面、手机客户端、手机短信、彩信发布消息或上传图片。新浪可以把微博理解为“微型博客”或者“一句话博客”。用户可以将看到的、听到的、想到的事情写成一句话，或发一张图片，通过电脑或者手机随时随地分享给朋友，一起分享、讨论；还可以关注朋友，即时看到朋友们发布的信息。本项目进行了新浪微博-个人主...

爬取一个用户的所有微博

06-03

利用selenium+PlantomJS登录+爬取感兴趣的用户的所有信息包括昵称,认证,粉丝,关注,所有微博以及每条微博的转发,评论数量等理论上来讲再加一个链接爬虫可以爬取新浪微博的所有数据但是由于用的是无壳浏览器导致登录和加载页面速度比较慢所以实际上基本不可能能实现爬取代码写完调通就没有管过了,也没有优化过,不过基本的功能都可以实现

2018年微博粉丝关注列表、微博用户基本信息表、微博转发评论列表(sql文件218M)

04-12

2018年百万条微博信息(sql文件218M)，包括微博粉丝关注列表、微博用户基本信息表、微博转发评论列表，仅提供研究实验用。

如何爬取微博的粉丝

热门推荐

Marvek的博客

05-13

1万+

如何爬取微博的粉丝 BeautifulSoup4的使用

用Scrapy爬取新浪微博用户信息,粉丝,关注数

weixin_41933499的博客

07-05

4286

通过一段时间对爬虫的学习,发现Scrapy框架真的是一个很好用的框架,接下来让我们用一个简单的例子,来见识一下Scrapy框架的强大之处. 本示例将获取新浪微博指定用户下的所有基本信息,粉丝和关注者,并且通过该用户的关注和粉丝继续深度爬出,简单来说,只要时间够多,ip够用,通过一个用户就可以得到新浪微博所有用户的基础信息创建项目 scrapy startproject weibospi...

爬虫爬取微博用户粉丝及其关注

junbaba_的博客

04-12

3173

爬虫爬取微博用户粉丝及其关注前言前段时间做了一个爬虫爬取微博用户粉丝及其关注的小项目，但忙着中期毕设答辩忘了加以记录了。对于动态网页的解决办法是使用selenium（上手比较快，而且抓包实在太麻烦了hhhhh我就还没学）。关于selenium爬虫的学习： b站视频：【爬虫入门】selenium爬取动态网页，以及常见的问题视频的讲义：【爬虫入门】selenium爬取动态网页，以及常见的问题。项目 github地址：https://github.com/hit-thusz-RookieCJ

Scrapy爬取新浪微博用户粉丝数据

wwxxee

12-30

4183

一般来说pc端的信息是最为全面的，但是防范措施也是最严格的。所以不能走weibo.com这个域名下进行爬取，新浪微博在pc端的反扒措施较为全面。而手机端的数据则相对好爬取，而且数据都是Json格式，解析起来十分方便。新浪微博的m端域名为m.weibo.cn。虽然是手机端，但是我们依然可以在电脑浏览器打开该网站，不需要连接手机设置手机网络代理什么的。 ##1. 确认爬取目标本次爬取的目标用户为微博...

微博数据爬虫——获取特定ID的粉丝和关注（二）

weixin_43906500的博客

04-20

2008

注意：近期发现使用requests库访问微博数据出现ssl error错误，而使用urllib库访问则不会出现错误功能：给定特定微博用户ID，获取微博用户的粉丝和关注 1.通过o_id获取p_id 用户主页结构如下所示：通过使用正则匹配即可获取p_id值 add = urllib.request.Request(url='https://weibo.com/u/%s' % o_id, headers=headers) r = urllib.request.urlopen(url=add,

新浪微博粉丝爬虫-wap站只能爬取20页-

学无止境

02-14

6571

由上图可见：微博已经视粉丝分布为商业机密，故爬取难度越来越大。无论web上爬，还是手机上爬，均受限。两种方式：手动爬+微博API爬。本文展示手动爬，以李易峰的粉丝分布为基础，只能爬取20页，源码如下 # encoding=utf-8 import random import json import base64 import requests from lxml import etree

爬虫（8）-Scrapy爬取微博用户粉丝，关注和微博内容

qq_42754919的博客

10-10

1868

本文主要讲解使用scrapy爬取微博用户的关注，粉丝和微博内容。文章目录1.页面分析1.1 用户信息1.2 关注页面1.3 粉丝页面2.代码2.1 items.py2.2 weibocn.py2.3 pipelines.py2.4 settings.py 1.页面分析爬取微博URL：http://m.weibo.cn/。打开网址需要登录账号，因此我们在爬取网站时，需要输入cookie。在网页中我们随便选取一个用户的信息，点击头像，进入主页面进行分析。 1.1 用户信息我们在主页面随便搜索一个用户的I

python爬取微博粉丝量排行榜