Python爬虫入门教程 35-100 知乎网全站用户爬虫 scrapy

最新推荐文章于 2024-04-21 22:58:15 发布
最新推荐文章于 2024-04-21 22:58:15 发布
阅读量2.1w 收藏 9
点赞数 1
分类专栏： 爬虫100例教程 文章标签： 爬虫 python爬虫
梦想橡皮擦-独家版权，禁止转载
本文链接：https://blog.csdn.net/hihell/article/details/85101324
版权
爬虫100例教程 专栏收录该内容
118 篇文章 1562 订阅 ¥99.90 ¥299.90
订阅专栏
本篇博客介绍如何使用Python的Scrapy框架爬取知乎全站用户关注名单。首先讲解了爬虫的准备工作，包括设置爬取间隔、UA、启用随机UA中间件等。接着，详细阐述了如何处理HTML+JSON拼接的数据，通过正则匹配和JSON解析获取所需信息。最后，提到了URL去重和数据存储的方法。
摘要由CSDN通过智能技术生成

爬前叨叨

全站爬虫有时候做起来其实比较容易，因为规则相对容易建立起来，只需要做好反爬就可以了，今天咱们爬取知乎。继续使用scrapy当然对于这个小需求来说，使用scrapy确实用了牛刀，不过毕竟本博客这个系列到这个阶段需要不断使用scrapy进行过度，so，我写了一会就写完了。

你第一步找一个爬取种子，算作爬虫入口

https://www.zhihu.com/people/zhang-jia-wei/following

我们需要的信息如下，所有的框图都是我们需要的信息。

在这里插入图片描述

获取用户关注名单

通过如下代码获取网页返回数据，会发现数据是由HTML+JSON拼接而成，增加了很多解析成本

class ZhihuSpider(scrapy
了解本专栏 订阅专栏 解锁全文
梦想橡皮擦
关注
  • 1
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 6
    评论
专栏目录
订阅专栏
Python爬虫入门教程【21】： 知乎网全站用户爬虫 scrapy
Python追梦
07-26 167
全站爬虫有时候做起来其实比较容易，因为规则相对容易建立起来，只需要做好反爬就可以了，今天咱们爬取知乎。继续使用scrapy当然对于这个小需求来说，使用scrapy确实用了牛刀，不过毕竟这个系列到这个阶段需要不断使用scrapy进行过度，so，我写了一会就写完了。 你第一步找一个爬取种子，算作爬虫入口 https://www.zhihu.com/people/zhang-jia-wei/follow...
分布式全站爬虫——以"搜狗电视剧"为例
崔斯特的博客
04-11 468
先看看robots协议User-agent:* Allow:/ Sitemap:http://kan.sogou.com/sitemap/sitemap.xml 牛皮！分析打开...
知乎：你是如何开始能写python爬虫？
01-31 1064
http://www.zhihu.com/question/21358581
Python Scrapy 全站爬虫
slbwgslz的专栏
05-29 1643
基本命令：scrapy startproject test2  创建工程scrapy genspider test www.abc.com    创建基于scrapy.Spider 的爬虫  scrapy genspider -t crawl test www.abc.com 创建基于CrawlSpider的爬虫 scrapy  crawl test -o test.json 运行爬虫tes...
python全站试爬虫
chuzhao8511的博客
05-04 315
第一次写，是直接写还是先走程序。 1、都是些废话 最近失业了，晚上睡不着，实在没事干。所以来练习下爬虫技术，第一次创作，写的不好，勿喷。 2、正式开始 想要练习下全站试爬虫，找了几个网站，觉得还是从最简单的开始，因为本人喜欢看小说，所以就以全书网为例。根据自己实践证...
爬虫系列（四）--全站爬取
神码不是浮云
09-17 4940
爬虫系列（四）--全站爬取 全站爬取需要的数据基于一个这样的假设：某网站的页面上存在该网站其他页面的连接，通过这些连接跳转的新的页面进行数据的爬取。在开始这个之前，要先明白栈和队列。本篇中介绍的是单线程的实现方式，大规模的爬取需要多线程，分布式爬取。 1.实现步骤 （1）准备几个起始链接加入待队列Q中，例如Q=["http://www.xxx.com/aaa/","http://www.xx...
本项目包含Python基础- Python爬虫 - Scrapy框架 - Flask教程 - Django教程 - 分布式爬虫
01-31
爬虫python入门 [知乎最新爬取方法](https://github.com/hellokuls/python-course/tree/master/zhihu) [小红书最新爬取方法](https://github.com/hellokuls/python-course/blob/master/xiaohongshu.py) [小说网...
python爬虫实战笔记---以轮子哥为起点Scrapy爬取知乎用户信息
10-13
Scrapy是一个强大的Python爬虫框架，它的设计目标是为了高效地爬取网站并提取结构化数据。本实战笔记将以“轮子哥”为起点，利用Scrapy爬取知乎用户的详细信息，帮助我们了解Scrapy的基本使用方法和流程。 首先，...
Python-知乎爬虫验证码自动识别
08-12
在这个名为"Python-知乎爬虫验证码自动识别"的项目中，我们将深入探讨如何利用Python技术来应对网页上的验证码挑战，特别是在爬取知乎这类社交媒体平台时。验证码的识别是爬虫过程中的一大难点，因为它涉及到图像...
Scrapy实现CSDN自动登录获取博客分类列表
12-21
通过Scrapy框架简单实现了实现CSDN自动登录获取博客分类列表功能。
SparkFun ESP32 Thing Development Workshop azw3
09-29
SparkFun ESP32 Thing Development Workshop 英文azw3 本资源转载自网络，如有侵权，请联系上传者或csdn删除 本资源转载自网络，如有侵权，请联系上传者或csdn删除
python全站爬虫_python基于scrapy实现简书全站爬虫
weixin_32413177的博客
01-12 317
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy 使用了...
糗事百科全站爬虫
ljj123zz的博客
10-19 982
之前看到有人写糗事百科的爬虫，就爬了几个页面，感觉太少，一个专业的段子手怎么能忍； 本文中使用多进程加多线程，段子用户id保存至redis数据库，用户数据及段子内容存储至mongodb； 本人自己的代理池前段时间没了，这里用的是阿布云代理，说的是每秒支持并行5个代理，其实没有这么多，买了三个账号连续爬一天，总共爬到30多万个用户数据，段子200多万个 阿布云账号一小时一块钱 数据库：
爬虫之全站爬取方法
python学习者的博客
03-20 5133
方法 做过好几个关于网站全站的项目，这里总结一下。 先把上面那张图写下来，全站爬取的两种方法： 关系网络： 优点：简单；可以抓取“热门”数据 缺点：无法抓取全量数据；速度慢；需要解决去重问题 可行性：比较高 遍历ID 优点：可以抓取所有数据；不用数据去重 缺点：资源消耗大；速度慢；可能被发现 可行性：仅可用于ID自增 关于关系网络 其实这个很好理解。比如说知乎，一个大V有1...
CrawlSpider全站爬取简单笔记
低调说
05-17 497
又来更新爬虫了，这回是scrapy的CrawlSpider全站爬取 CrawlSpider 这个东西有个关键的东西叫 链接爬取器 LinkExtractor( 　　　　　　　 allow=r'Items/'，# 满足括号中“正则表达式”的值会被提取，如果为空，则全部匹配。 　　　　　　　　 deny=xxx, # 满足正则表达式的则不会被提取。 　　　　　　　　 restrict_xpaths=xxx, # 满足xpath表达式的值会被提取 　　　　　　　　 restrict_css=x
基于Spider的全站数据爬取
qq_45895217的博客
09-29 353
一开始运行的时候会出来很多其他的日志信息，这里我忘了设置settings.py中。
Python爬虫之爬取整个网页（最简单的爬虫）
qq_68725483的博客
10-22 1474
首先打开网页，按F12键，在开发者工具模式中找到网络（或network）在左边的名称（或name）一栏随便点击一个，随后在标头（或header）一栏中找到请求标头（或request headers）栏的 User-Agent ，将后面的文本复制，加入到爬虫程序中。注意：urllib.request.Request用于向服务端发送请求，就如 http 协议客户端想服务端发送请求，而 urllib.request.urlopen则相当于服务器返回的响应。下面我们来逐一分析。这个很简单，就是打印命令。
网站爬虫(全站爬取)案例以及原理 适合新手
最新发布
Orangeyezzer的博客
04-21 1829
本次案例选用的网站是由崔先生(崔庆才)所维护的网站，今天的案例是也是网站中的一部分。
python爬虫scrapy知乎案例
04-03
以下是一个简单的scrapy爬取知乎热门话题的案例： 首先，需要安装scrapy和其他需要的库： ``` pip install scrapy pip install requests pip install scrapy-splash ``` 然后，创建一个新的scrapy项目： ``` scrapy startproject zhihu cd zhihu ``` 接着，在`settings.py`中添加一些配置： ```python BOT_NAME = 'zhihu' SPIDER_MODULES = ['zhihu.spiders'] NEWSPIDER_MODULE = 'zhihu.spiders' ROBOTSTXT_OBEY = False DOWNLOAD_DELAY = 3 DOWNLOADER_MIDDLEWARES = { 'scrapy_splash.SplashCookiesMiddleware': 723, 'scrapy_splash.SplashMiddleware': 725, 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810, } SPLASH_URL = 'http://localhost:8050' DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter' HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage' ``` 在这里，我们使用了Splash来渲染网页，因此需要添加一些相关的配置。`DOWNLOAD_DELAY`是下载延迟时间，为了避免被网站封禁，最好设置一个较长的时间。 接下来，创建一个名为`zhihu_spider.py`的Spider类： ```python import scrapy from scrapy_splash import SplashRequest class ZhihuSpider(scrapy.Spider): name = 'zhihu' allowed_domains = ['www.zhihu.com'] start_urls = ['https://www.zhihu.com/hot'] script = ''' function main(splash, args) assert(splash:go(args.url)) assert(splash:wait(2)) return splash:html() end ''' def start_requests(self): for url in self.start_urls: yield SplashRequest(url, self.parse, endpoint='execute', args={ 'lua_source': self.script }) def parse(self, response): for item in response.css('.HotItem'): yield { 'title': item.css('.HotItem-title a::text').get(), 'link': item.css('.HotItem-title a::attr(href)').get(), } ``` 在这里，我们使用了SplashRequest来请求页面，并使用Lua脚本来等待页面加载完毕。然后，我们使用CSS选择器来提取热门话题的标题和链接，并将它们存储在字典中，然后使用yield返回。 最后，运行爬虫： ``` scrapy crawl zhihu -o zhihu.csv ``` 这将抓取知乎热门话题的标题和链接，并将它们存储在CSV文件中。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

梦想橡皮擦

如有帮助，来瓶可乐

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值