用python爬取一个人所有信息_Python之爬虫（二十） Scrapy爬取所有知乎用户信息(上)...

最新推荐文章于 2021-02-10 18:22:19 发布
最新推荐文章于 2021-02-10 18:22:19 发布
阅读量377 收藏
点赞数
文章标签： 用python爬取一个人所有信息
本文介绍了如何使用Python的Scrapy框架爬取知乎用户的关注列表和被关注列表，以实现递归获取整个知乎用户网络。通过分析网络请求，找到获取用户详细信息的API地址，并解决请求头相关问题，为后续的爬虫代码实现打下基础。
摘要由CSDN通过智能技术生成

爬取的思路

首先我们应该找到一个账号，这个账号被关注的人和关注的人都相对比较多的，就是下图中金字塔顶端的人，然后通过爬取这个账号的信息后，再爬取他关注的人和被关注的人的账号信息，然后爬取被关注人的账号信息和被关注信息的关注列表，爬取这些用户的信息，通过这种递归的方式从而爬取整个知乎的所有的账户信息。整个过程通过下面两个图表示：

997599-20170721023134708-177129816.png

997599-20170721023148193-1974742425.png

爬虫分析过程

997599-20170721023220693-1484269289.png

其次我们要获取这个账号的关注列表和被关注列表

997599-20170721023248505-1468200452.png

这里我们需要通过抓包分析如果获取这些列表的信息以及用户的个人信息内容

当我们查看他关注人的列表的时候我们可以看到他请求了如下图中的地址

最低0.47元/天 解锁文章
weixin_39984201
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python爬虫爬取知乎用户信息+寻找潜在客户
彼岸花开的彼岸
07-27 1万+
【Python应用】寻找社交网络中的目标用户 这是我们学校的软件工程课程设计的题目，要求自行编写爬虫或者利用开放的API获取新浪微博、知乎等社交网站的用户信息，利用数据挖掘的相关算法进行分析, 从大规模的用户群体中, 分别找出其中具有海淘或母婴购物意向的用户。
用python爬取一个人所有信息_Python爬取新浪微博用户信息及内容
weixin_39639622的博客
11-25 1226
目标爬取新浪微博用户数据，包括以下字段：id，昵称，粉丝数，关注数，微博数，每一篇微博的内容，转发数，评论数，点赞数，发布时间，来源，以及是原创还是转发。（本文以GUCCI（古驰）为例）方法+使用selenium模拟爬虫+使用BeautifulSoup解析HTML结果展示步骤分解1.选取爬取目标网址首先，在准备开始爬虫之前，得想好要爬取哪个网址。新浪微博的网址分为网页端和手机端两个，大部分爬取微博...
Python爬虫抓取知乎所有用户信息
weixin_33937499的博客
03-14 680
今天用递归写了个抓取知乎所有用户信息的爬虫，源代码放在了github上，有兴趣的同学可以上去下载一下看看，这里介绍一下代码逻辑以及分页分析，首先看网页，这里本人随便选了一个大V作为入口，然后点开他的关注列表，如图 注意，本人爬虫的全称都是处于非登录状态的。这里的粉丝列表以及关注者列表都是后台ajax请求得到的数据（没有听过ajax的童鞋别慌，aja...
pythonrequests爬取知乎个人信息_用PYTHON中的requests模块爬知乎用户信息
weixin_39887748的博客
12-08 360
最近在自学python爬虫，就会那么几个常用的库的基本动作，拿来爬知乎试一下效果，发现还能爬下来点数据，当然，只是娱乐级别。首先想了一下爬用户的思路。先选一个优质用户，从他的粉丝列表或者关注的人列表中获取用户，鉴于有很多像我这样并没有粉丝的账号，因此选择从关注的人列表中下手。从这位大号关注的人列表中获取每一位用户，再查找每位用户关注的人。。。以此类推。老子曰“道生一，一生二，二生三，三生万物”？ ...
python爬取用户信息_Python爬取个人微信朋友信息操作示例
weixin_39996750的博客
11-24 792
本文实例讲述了Python爬取个人微信朋友信息操作。分享给大家供大家参考，具体如下：利用Python的itchat包爬取个人微信号的朋友信息，并将信息保存在本地文本中思路要点：1.利用itchat.login()，实现微信号的扫码登录2.通过itchat.get_friends()函数获取朋友信息代码：本文代码只获取了几个常用的信息，更多信息可从itchat.get_friends()中取#获取个...
Python爬虫项目之爬取知乎数据.zip
最新发布
05-30
本项目专注于使用Python爬虫来获取知乎网站上的数据。知乎是中国知名的问答社区，包含丰富的知识和观点，是研究用户行为、热门话题以及网络趋势的理想来源。 Python作为一门强大的脚本语言，因其简洁的语法和丰富的...
zhihu_scrapy_爬虫excel_知乎爬虫_scrapy扫码登录_
10-01
【标题】"zhihu_scrapy_爬虫excel_知乎爬虫_scrapy扫码登录_" 描述了一种使用Python的Scrapy框架开发的知乎爬虫项目，该爬虫能够实现通过手机扫码的方式模拟登录知乎，然后抓取用户指定的知乎页面上的内容，如回答和...
python爬虫，爬取用户信息以及人际拓扑关系，爬虫框架使用scrapy，数据存储使用mongo
01-30
此项目的功能是爬取用户信息以及人际拓扑关系，爬虫框架使用scrapy，数据存储使用mongo，下载这些数据感觉也没什么用，就当为大家学习scrapy提供一个例子吧。 使用方法 本地运行 爬虫程序依赖mongo和rabbitmq，因此...
scrapy爬取知乎用户信息
09-07
在"scrapy爬取知乎用户信息"这个项目中，我们将探讨如何使用Scrapy来抓取知乎网站上的用户资料。知乎是中国一个知名的知识分享平台，用户可以在上面发布问题、分享答案，以及建立自己的个人档案。这些信息对于数据...
Python知乎爬虫——爬取知乎用户简单数据信息
05-08
萌新入坑代码，大佬勿喷
python3.6爬取知乎用户信息代码
04-19
利用python3 和scrapy框架爬取知乎的用户信息并存储到MongoDB的源码。
Python爬虫从入门到放弃（十九）之 Scrapy爬取所有知乎用户信息(下)
weixin_33984032的博客
07-24 127
在上一篇文章中主要写了关于爬虫过程的分析，下面是代码的实现，完整代码在：https://github.com/pythonsite/spider items中的代码主要是我们要爬取的字段的定义 class UserItem(scrapy.Item): id = Field() name = Field() account_status = Field() ...
Python3 爬虫（五） -- 单线程爬取我的CSDN全部博文
热门推荐
指尖飞舞
05-30 1万+
序 本文我实现的是一个CSDN博文爬虫，将我的csdn博客http://blog.csdn.net/fly_yr/article/list/1 中的全部博文基本信息抓取下来，每一页保存到一个文件中。 先来看一下我的博客页面： 确定要提取的信息： 发表日期是否原创标记博文标题博文链接浏览量评论量 从上第二个图中可以看出，我的博文目前有20页共384条数据，我
用python爬取一个人所有信息_python爬取主播信息
weixin_39722946的博客
11-24 512
之前学过python的爬虫技术，现在回顾一下看看还会不会，果然有坑。先爬取了微博评论网友的id代码如下import requestsurl = 'https://m.weibo.cn/api/comments/show?id=4188633986790962&page=6h = requests.get(url)print(h.json()['data']['data'][0]['user']['...
python爬虫 爬取知乎用户的用户信息
yihuihe
06-17 5308
我用python爬虫找到了不想告诉我她知乎ID的妹纸的ID…….在我做了这件事情之后 , 她觉得我越来越懂她了 , 嘻嘻有一天 , 我发现我心仪已久的妹纸在朋友圈里分享了知乎专栏的文章 , 就知道她也刷知乎 . 如果在知乎上关注她 , 我就能知道 , 她最近关注什么 , 心里想些什么 , 了解了解她喜欢的方面 , 还能作为谈资 , 简直太赞了 (*^^)v . 但是输入她的名字…… 在知乎上根本找
Python爬取知乎用户
吉他程序员的博客
09-19 9451
1.今天来介绍下用scrapy爬取知乎某个人圈子的用户信息。本文需要懂scrapy框架，不懂的请先自学，爬取结果如下图: 图片详细地址: http://img.blog.csdn.net/20170919091840064watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvTHVvWmhlbmc0Njk4NzI5/font/5a6L5L2T/fontsize
简单的python3.5爬取知乎用户基本信息
sanchen的博客
12-19 2740
简单的知乎用户信息爬取。   用到python3.5，mysql数据库，需要自行准备好环境   代码在windows上测试成功（没钱买mac，逃）   插入数据库时，写了两个版本，一个正常查询，一个协程查询（主要比较看看这两者的性能如何）   由于是个python渣，代码有点乱。   好了不多废话，现在开始：   全局变量： # 提交头数据 headers = { "Us
python爬取知乎用户信息_Python——十行批量爬取知乎用户信息
weixin_26776943的博客
02-10 582
加油鸭接着上个内容，做了一点改进，可以批量爬取知乎用户信息。实现思路：加一个id数组，循环访问获取id，然后输入到网址中，读取信息。import requests# 将浏览器复制出来的requests headers参数赋值给一个变量，一般直接用headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebK...
用scrapy编写一个知乎热榜的爬虫
04-05
以下是一个使用Scrapy爬取知乎热榜的示例代码： ```python import scrapy class ZhihuHotSpider(scrapy.Spider): name = "zhihuhot" allowed_domains = ["www.zhihu.com"] start_urls = [ "https://www.zhihu.com/hot" ] def parse(self, response): for item in response.css('.HotItem'): yield { 'title': item.css('.HotItem-title a::text').get(), 'url': item.css('.HotItem-title a::attr(href)').get(), 'excerpt': item.css('.HotItem-excerpt::text').get(), 'score': item.css('.HotItem-metrics::text').get(), 'image': item.css('.HotItem-cover img::attr(src)').get() } ``` 该爬虫首先访问知乎热榜页面，然后使用CSS选择器来提取每个热门条目的标题、URL、摘要、得分和图像。最后，将这些数据作为字典对象返回。可以使用以下命令运行该爬虫： ``` scrapy runspider zhihuhot.py -o zhihuhot.json ``` 该命令将启动爬虫并将结果保存到名为“zhihuhot.json”的JSON文件中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值