爬虫爬虫 - 知乎的爬虫 (Scrapy 框架)

最新推荐文章于 2024-08-05 20:06:05 发布
最新推荐文章于 2024-08-05 20:06:05 发布
阅读量3.7k 收藏 1
点赞数
分类专栏： Python 数据科学
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ytdxyhz/article/details/78817950
版权
这篇博客介绍了作者使用Scrapy框架开发一个爬虫项目的过程，包括模拟登录和抓取特定话题下所有问题的详细步骤。内容涵盖Scrapy的工作原理、GET/POST请求分析，以及项目最终成果和应用。
摘要由CSDN通过智能技术生成

背景： 前段时间适应了工作环境之后就寻思开始自己捣鼓点东西玩玩， 于是想啊既然网上这么多爬虫教程什么的，那咱也来凑凑热闹把，毕竟我也很喜欢搞点Data玩一玩。但是拖延了好久，这不趁着回来办签证这功夫赶紧把这个push了！


开发的环境：

Mac OSX, Python 3.5, Scrapy 框架  

Tips: 

为什么使用 Python 3.5?
Python 2.x 在不久的将来就不被维护了。

使用的工具：

给大家推荐一款mac上编写python的IDE - Pycharm， 目前我发现它的优点有：1. python intepreter 的版本控制做的很棒，可以随意切换python 版本，另外对每个版本下都安装了什么lib也一目了然。2. 对于不同版本的python，可以很简单的对其进行lib的增加和删除。减少了安装需要考虑路径等不必要的麻烦。3. 支持 自动填充 你打出一个function的开头它给你结尾这样。

项目的简介：

本次项目实现了模拟登录，并在登录之后爬取某个话题下面的所有问题信息。

项目代码：

最低0.47元/天 解锁文章
N拳超人
关注
专栏目录
Python爬虫入门教程 35-100 知乎网全站用户爬虫 scrapy
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
12-19 2万+
爬前叨叨 全站爬虫有时候做起来其实比较容易，因为规则相对容易建立起来，只需要做好反爬就可以了，今天咱们爬取知乎。继续使用scrapy当然对于这个小需求来说，使用scrapy确实用了牛刀，不过毕竟本博客这个系列到这个阶段需要不断使用scrapy进行过度，so，我写了一会就写完了。 你第一步找一个爬取种子，算作爬虫入口 https://www.zhihu.com/people/zhang-jia-we...
知乎爬虫(知乎网站爬取工具,爬取知乎网页内容)
01-08
知乎爬虫(知乎网站爬取工具,爬取知乎网页内容)。 大家下载试试吧。挺好用的，嘿嘿。
Python爬虫-爬取知乎（小结）
weixin_49345590的博客
11-20 4478
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 以下文章来源于腾讯云 作者：小小科 ( 想要学习Python？Python学习交流群：1039649593，满足你的需求，资料都已经上传群文件流，可以自行下载！还有海量最新2020python学习资料。 ) 最近学习了一点网络爬虫，并实现了使用Python来爬取知乎的一些功能，这里做一个小的总结。网络爬虫是指通过一定的规则自动的从网上抓取一些信息的程序或脚本。我们知道机器学习和数据挖掘等都
Scrapy爬虫框架介绍
最新发布
又逢乱世
08-05 1590
Scrapy是什么、创建Scrapy项目、配置请求头、配置管道、数据建模
[Python]网络爬虫（11）：亮剑！爬虫框架小抓抓Scrapy闪亮登场！
热门推荐
汪海的实验室
02-21 6万+
前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识， 用来解决简单的贴吧下载，绩点运算自然不在话下。 不过要想批量下载大量的内容，比如知乎的所有的问答，那便显得游刃不有余了点。 于是乎，爬虫框架Scrapy就这样出场了！ Scrapy = Scrach+Python，Scrach这个单词是抓取的意思， 暂且可以叫它：小抓抓吧。 小抓抓的官网地址：点我点我。
网络爬虫系列笔记（4）——Scrapy爬虫
youyinyou的博客
08-31 1962
Scrapy爬虫 Scrapy 不是一个简单的函数功能库；而是一个专业的网络爬虫框架 Scrapy 足以支持一般商业服务所需的爬虫能力：持续爬取、商业服务、高可靠性 scrapy库的安装: pip install scrapy scrapy -h Available commands:   bench         Run quick benchmark te
知乎爬虫
记路
03-08 6400
长久以来一直想解决一个问题，就是知乎上最高赞同的Top10是哪些答案，知乎内部的人可能查一下数据库就可以了，而外部的人只能通过爬虫。可能这个问题对很多人而言意义不是很大，但我一直非常好奇…于是开始写了。 在写具体细节之前，先给一个爬的结果吧，截止至2014年3月7号的知乎Top10如下： 1. 你觉得自己牛逼在哪里？ 18279票 2. 精神分裂症患者眼中的世界是什么样的？ 15
本项目包含Python基础- Python爬虫 - Scrapy框架 - Flask教程 - Django教程 - 分布式爬虫
01-31
爬虫python入门 [知乎最新爬取方法](https://github.com/hellokuls/python-course/tree/master/zhihu) [小红书最新爬取方法](https://github.com/hellokuls/python-course/blob/master/xiaohongshu.py) [小说网...
zhihu_scrapy_爬虫excel_知乎爬虫_scrapy扫码登录_
10-01
【标题】"zhihu_scrapy_爬虫excel_知乎爬虫_scrapy扫码登录_" 描述了一种使用Python的Scrapy框架开发的知乎爬虫项目，该爬虫能够实现通过手机扫码的方式模拟登录知乎，然后抓取用户指定的知乎页面上的内容，如回答和...
知乎Scrapy爬虫项目
03-04
此项目的功能是爬取知乎用户信息以及人际拓扑关系，爬虫框架使用scrapy，数据存储使用mongo，下载这些数据感觉也没什么用？分析、图谱甚至是学习Scrapy框架作为一个很好的示例 ### 本地运行 爬虫程序依赖mongo和...
微博热搜榜、热点、帖子、评论爬虫---Scrapy框架、Selenium
weixin_42122125的博客
06-09 2140
动手前准备 了解内容 Ajax内容了解链接 第三方库 pip install scrapy -i https://pypi.douban.com/simple/ pip install selenium -i https://pypi.douban.com/simple/ pip install pymysql -i https://pypi.douban.com/simple/ pip install requests -i https://pypi.douban.com/simple/ pip ins
知乎爬虫,知乎爬虫爬不了了,Python
09-10
简单的知乎爬虫，输入关键词，爬取该关键词下的提问，回答，点赞数等，以csv格式存储
基于scrapy的知乎爬虫
01-30
这是一个基于python的scrapy框架的爬虫，用于爬取知乎用户、话题、搜索等信息，抓取的信息通过mysql储存
爬虫框架:scrapy
weixin_30355437的博客
01-26 112
一 介绍 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。 Scrap...
爬虫基础09B—scrapy爬虫
m0_55196097的博客
02-12 5444
scrapy爬虫： 1）创建scrapy项目 terminal下输入：scrapy startproject tutorial 切换目录： cd tutorial 执行上述命令后，自动的创建了scrapy项目 生成了项目目录-tutorial scrapy.cfg 部署的配置文件 tutorial/ __init__.py 初......
知乎 爬虫
weixin_41472455的博客
05-28 675
import requests from pyquery import PyQuery as pq def getHtml(url): try: headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, ...
python爬虫scrapy知乎案例
04-03
以下是一个简单的scrapy爬取知乎热门话题的案例： 首先，需要安装scrapy和其他需要的库： ``` pip install scrapy pip install requests pip install scrapy-splash ``` 然后，创建一个新的scrapy项目： ``` scrapy startproject zhihu cd zhihu ``` 接着，在`settings.py`中添加一些配置： ```python BOT_NAME = 'zhihu' SPIDER_MODULES = ['zhihu.spiders'] NEWSPIDER_MODULE = 'zhihu.spiders' ROBOTSTXT_OBEY = False DOWNLOAD_DELAY = 3 DOWNLOADER_MIDDLEWARES = { 'scrapy_splash.SplashCookiesMiddleware': 723, 'scrapy_splash.SplashMiddleware': 725, 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810, } SPLASH_URL = 'http://localhost:8050' DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter' HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage' ``` 在这里，我们使用了Splash来渲染网页，因此需要添加一些相关的配置。`DOWNLOAD_DELAY`是下载延迟时间，为了避免被网站封禁，最好设置一个较长的时间。 接下来，创建一个名为`zhihu_spider.py`的Spider类： ```python import scrapy from scrapy_splash import SplashRequest class ZhihuSpider(scrapy.Spider): name = 'zhihu' allowed_domains = ['www.zhihu.com'] start_urls = ['https://www.zhihu.com/hot'] script = ''' function main(splash, args) assert(splash:go(args.url)) assert(splash:wait(2)) return splash:html() end ''' def start_requests(self): for url in self.start_urls: yield SplashRequest(url, self.parse, endpoint='execute', args={ 'lua_source': self.script }) def parse(self, response): for item in response.css('.HotItem'): yield { 'title': item.css('.HotItem-title a::text').get(), 'link': item.css('.HotItem-title a::attr(href)').get(), } ``` 在这里，我们使用了SplashRequest来请求页面，并使用Lua脚本来等待页面加载完毕。然后，我们使用CSS选择器来提取热门话题的标题和链接，并将它们存储在字典中，然后使用yield返回。 最后，运行爬虫： ``` scrapy crawl zhihu -o zhihu.csv ``` 这将抓取知乎热门话题的标题和链接，并将它们存储在CSV文件中。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值