Scrapy + 案例

最新推荐文章于 2024-05-10 19:39:09 发布
最新推荐文章于 2024-05-10 19:39:09 发布
阅读量541 收藏 4
点赞数 1
分类专栏： python--爬虫 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46924416/article/details/117566449
版权

学了 scrapy却不会用？？？在这里插入图片描述
那我们就直接来一个案例来仔细讲解一下，步骤是怎么样的。
这个例子是前不久一个学妹的作业。我拿来写写博客哈哈哈哈哈。
在这里插入图片描述

对了 我用的Pycharm在这里插入图片描述

例子是爬取人邮教育区里面的书籍。
老步骤

一、创建爬虫项目

打开终端书写 scrapy startproject book1spider
在这里插入图片描述
在这里插入图片描述
要是创建文件之后，忘记了下一步 时不要慌，终端会给我们一个提示，按照提示来，接下来一步 切换刀爬虫项目的目录下，然后再创建一个爬虫文件。

最低0.47元/天 解锁文章
门前一头牛
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Scrapy小案例
wuyangcc的博客
03-28 313
Scrapy小案例 创建项目： scrapy startproject TXmovies cd TXmovies scrapy genspider txms v.qq.com 修改setting: ROBOTSTXT_OBEY = False DOWNLOAD_DELAY = 1 DEFAULT_REQUEST_HEADERS = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
python爬虫库scrapy简单使用实例详解
12-20
最近因为项目需求，需要写个爬虫爬取一些题库。在这之前爬虫我都是用node或者php写的。一直听说python写爬虫有一手，便入手了python的爬虫框架scrapy. 下面简单的介绍一下scrapy的目录结构与使用： 首先我们得安装scrapy框架 pip install scrapy 接着使用scrapy命令创建一个爬虫项目： scrapy startproject questions 相关文件简介： scrapy.cfg: 项目的配置文件 questions/: 该项目的python模块。之后您将在此加入代码。 questions/items.py: 项目中的item文件. ques
python爬虫基础小案例， scrapy框架，思路和经验你全都有。
m0_65833575的博客
04-26 1万+
目录 一、scrapy介绍 二、爬取步骤 三、代码 1、创建爬虫项目 scrapy startproject 项目名字 注意: 项目名字不能出现中文，也不能以数字开头。 2、创建爬虫文件 3.进入itmes.py 4.进入spiders 5.进入pipelines.py 四、运行scrapy 文件 一、scrapy介绍 简单介绍一下scrapy吧。 Scra...
Scrapy爬虫基础讲解及案例
最新发布
stitches_fly的博客
05-10 1977
item数据对象：本质是一个字典。response.xpath方法的返回结果是一个类似list的类型，其中包含的是selector对象，操作和列表一样，但是有一些额外的方法。允许爬的域名：为对于爬虫设置的爬取范围，设置之后用于过滤要爬取的url地址，如果爬取的url地址与允许的域名不同，则被过滤掉。下载器发送请求，获取response响应---->下载中间件---->引擎--->爬虫中间件--->爬虫。爬虫提取url地址，组装成request对象---->爬虫中间件--->引擎--->调度器，重复步骤2。
Scrapy 爬虫完整案例—从小白到大神（银行网点信息为例）
liu_xzhen的博客
09-29 1898
采用selenium界面抓取信息，需要渲染界面，并且也是单线程操作，效率极低，一晚上只爬去了一个工行的数据。 突然想到了分布式爬虫 安装Scrapy pip版本过于老旧不能使用，需要升级pip版本，输入python -m pip install --upgrade pip，升级成功 安装scrapy命令：pip install Scrapy 因为scrapy框架基于Twisted,所以先要下载其whl包安装 地址：http://www.lfd.uci.edu/~gohlke/pythonl..
Scrapy爬虫框架，入门案例（非常详细）
热门推荐
ck784101777的博客
03-21 18万+
Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试. 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 后台也应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫. Scrapy吸引人的地...
Scrapy框架爬虫案例
weixin_46999938的博客
05-13 3531
@toc 1 什么是Scrapy Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 2 Scrapy架构 Scrapy Engine(引擎) 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。 Scheduler(调度器) 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当
Python基于Scrapy+Redis分布式爬虫设计+源码案例+Python + Scrapy + redis.zip
12-30
毕业设计+Python基于Scrapy+Redis分布式爬虫设计+源码案例+Python + Scrapy + redis 毕业设计+Python基于Scrapy+Redis分布式爬虫设计+源码案例+Python + Scrapy + redis 毕业设计+Python基于Scrapy+Redis分布式爬虫...
毕业设计+Python基于Scrapy+Redis分布式爬虫设计+源码案例+Python + Scrapy + redis
09-15
标题中的“Python基于Scrapy+Redis分布式爬虫设计”是一个关于使用Python的Scrapy框架和Redis数据库构建分布式网络爬虫的项目。这个设计通常涉及到在大规模数据抓取时提高效率和处理能力。以下是对这个主题的详细...
基于Scrapy+Redis+Python + Scrapy + redis的分布式爬虫设计源码+项目说明.zip
01-07
Python基于Scrapy-Redis分布式爬虫设计毕业源码案例设计 ## 开发环境：Python + Scrapy框架 + redis数据库 ## 程序开发工具： PyCharm 程序采用 python 开发的 Scrapy 框架来开发，使用 Xpath 技术对下载的网页进行...
2023scrapy教程，超详细（附案例）
weixin_53696212的博客
05-31 2330
scrapy教程
Scrapy简单入门整理+小案例
听酒
07-10 2222
Scrapy简介Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便Scrapy 使用了 Twisted['twɪstɪd](其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中...
Scrapy爬虫及案例剖析
YANGTAO_0的博客
12-05 1409
由于互联网的极速发展，所有现在的信息处于大量堆积的状态，我们既要向外界获取大量数据，又要在大量数据中过滤无用的数据。针对我们有益的数据需要我们进行指定抓取，从而出现了现在的爬虫技术，通过爬虫技术我们可以快速获取我们需要的数据。但是在这爬虫过程中，信息拥有方会对爬虫进行反爬处理，我们就需要对这些困难进行逐个击破。 刚好前段时间做了爬虫相关的工作，这里就记录下一些相关的心得。 本文案例代码地...
Scrapy爬虫框架实战案例（适合小白人门）
公众号：Python研究者
11-16 1190
初识Scrapy开发环境创建项目创建爬虫项目结构图创建Item分析HTML爬取网页开发环境运行平台：Windows 10Python版本：Python 3.6.1Scrapy版本：S...
Python Scrapy使用实例讲解
Scofield971031的博客
04-02 2554
第一次完整使用scrapy框架，通过一个简单的实例来记录一下使用框架的基本步骤，希望自己越来越熟悉这个强大框架的使用。 安装Scrapy 我这边是搭配anaconda使用的，因此直接在创建的环境(名为py36)中使用conda install scrapy即可在此工作环境下面安装好scrapy 此外，也可以直接 pip install Scrapy 入门案例 首先明确总体的步骤： 创建一个S...
python 爬虫 8 （scrapy实例：爬新片场视频、创建scrapy项目步骤梳理）
这里的分享，都是干货
04-12 1746
scrapy实例：爬新片场视频写在前面1、新建项目 写在前面 新片场地址 https://www.xinpianchang.com/channel/index/sort-like?from=navigator 1、新建项目 创建项目xpc：scrapy startproject xpc 在xpc项目根目录下创建虚拟环境：virtualenv env 启用并进入虚拟环境，安装scrapy：...
Django中间件案例由浅入深+实战
大江狗
12-14 803
原作：PAWEŁ FERTYK翻译: 大江狗原文链接：https://pfertyk.me/2020/04/getting-started-with-django-middlewar...
【scrapy】python爬虫案例实战亲测有效
qq_44871403的博客
04-05 706
【scrapy】python爬虫案例实战亲测有效
scrapy+mongodb案例
05-26
下面是一个使用 Scrapy 和 MongoDB 的简单示例，它将爬取豆瓣电影 Top 250 的数据并存储到 MongoDB 数据库中： 1. 安装 Scrapy 和 pymongo： ``` pip install scrapy pymongo ``` 2. 创建 Scrapy 项目： ``` scrapy startproject douban ``` 3. 在 `settings.py` 文件中配置 MongoDB： ``` MONGODB_HOST = 'localhost' MONGODB_PORT = 27017 MONGODB_DBNAME = 'douban' MONGODB_COLLECTION = 'movies' ``` 4. 创建一个名为 `items.py` 的文件，定义要爬取的数据字段： ``` import scrapy class DoubanItem(scrapy.Item): title = scrapy.Field() rating = scrapy.Field() director = scrapy.Field() actors = scrapy.Field() year = scrapy.Field() country = scrapy.Field() category = scrapy.Field() ``` 5. 创建一个名为 `douban_spider.py` 的文件，定义爬虫： ``` import scrapy from douban.items import DoubanItem from scrapy.spiders import CrawlSpider, Rule from scrapy.linkextractors import LinkExtractor class DoubanSpider(CrawlSpider): name = 'douban' allowed_domains = ['movie.douban.com'] start_urls = ['https://movie.douban.com/top250'] rules = ( Rule(LinkExtractor(allow=('subject/\d+/$')), callback='parse_item'), Rule(LinkExtractor(allow=('top250\?start=\d+')), follow=True) ) def parse_item(self, response): item = DoubanItem() item['title'] = response.css('h1 span::text').get() item['rating'] = response.css('strong.rating_num::text').get() item['director'] = response.css('a[rel="v:directedBy"]::text').get() item['actors'] = response.css('a[rel="v:starring"]::text').getall() item['year'] = response.css('span.year::text').get() item['country'] = response.css('span[property="v:initialReleaseDate"]::text').re_first(r'(\S+)\s+\(\S+\)') item['category'] = response.css('span[property="v:genre"]::text').getall() yield item ``` 6. 运行爬虫： ``` scrapy crawl douban ``` 7. 在 MongoDB 中查看数据： ``` > use douban > db.movies.find().pretty() ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值