scrapy框架，scrapy genspider -1

最新推荐文章于 2024-03-11 19:06:58 发布
最新推荐文章于 2024-03-11 19:06:58 发布
阅读量2.3k 收藏 1
点赞数 2
分类专栏： py 文章标签： scrapy python3.7
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42296890/article/details/82501018
版权

创建爬虫项目文件命令行工具之scrapy genspider -l
跟着教程走：报错，狗血的原因是错把list的l看成了数字1
于是scrapy genspider -l就变成了scrapy genspider -1
看到有道才反应过来
感谢有道翻译，英语渣的痛苦啊。
了解到正确的打开方式后，enter一下，出现了模板列表
D:\test_.py\myweb\myfirstpjt>scrapy genspider -l
Available templates:
basic
crawl
csvfeed
xmlfeed
可以看见可创建爬虫的模板列表
选择其中一个
scrapy genspider -t basic weisuen1 iqiarnyue.com，创建一个basic类型名为weisuen1的爬虫文件
创建好的爬虫会保存在原来创建scrapy项目中，自带的 spider【蜘蛛】文件夹下。
sspider
还有其他容易犯迷糊的地方都会在后面继续记录。
蟹蟹各位看官的支持！

测试小白的爬坑之旅
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Scrapy框架丨Python爬虫基础入门系列(4)
阿星的Python技术分享博客
04-22 967
【福利+1】利用Scrapy爬虫框架，高效爬取网站内容。在学爬虫？戳进来看看，有福利噢~
python爬虫框架----scrapy基础篇
qq_35249586的博客
06-03 2775
Scrapy 是一个基于 Twisted 实现的异步处理爬虫框架，该框架使用纯 Python 语言编写。Scrapy 框架应用广泛，常用于数据采集、网络监测，以及自动化测试等。提示：Twisted 是一个基于事件驱动的网络引擎框架，同样采用 Python 实现。本文主要讲述Scrapy爬虫工作流程以及创建scrapy爬虫项目。
爬虫---scrapy爬虫框架（详细+实战）
lihaian的博客
08-01 3万+
Scrapy是一个适用爬取网站数据、提取结构性数据的应用程序框架，它可以应用在广泛领域Scrapy常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。通常我们可以很简单的通过Scrapy框架实现一个爬虫，抓取指定网站的内容或图片。...
scrapy基础学习
qq_44984558的博客
02-01 788
1、创建项目 scrapy startproject 项目 2、进入项目 cd 项目名称 3、创建爬虫 scrapy genspider 名字 域名 4、可能需要修改start_urls,修改成你要抓取的那个页面 5、对数据进行解析，在spaider里面的parse(response)方法中进行解析 def parse(self,response): response.text 拿页面源代码 response.xpath response.css 解析数据的时候，需要注意，默认xpath()返回的是Sele
Scrapy框架（高效爬虫）
weixin_46287157的博客
03-04 8022
Scrapy拥有高性能持久化存储，异步数据下载，高性能数据解析，分布式功能。
scrapy框架爬虫项目-以东财为例
最新发布
06-21
"scrapy框架爬虫项目-以东财为例"是一个具体的实例，旨在帮助初学者了解如何使用Scrapy构建一个完整的网络爬虫。 1. **Scrapy简介** Scrapy是一个基于Twisted的异步网络库，它的设计目标是让爬虫开发更加简单。它...
docs-scrapy-org-en-1.8.zip
04-10
这个名为"docs-scrapy-org-en-1.8.zip"的压缩包包含了Scrapy 1.8版本的官方英文文档，是学习和理解Scrapy框架的重要资源。以下是基于Scrapy 1.8版本的几个关键知识点的详细说明： 1. **Scrapy架构**：Scrapy基于...
python scrapy框架进行页面数据抓取
01-20
1.Spiders（自己书写的爬虫逻辑，处理url及网页等【spider genspider -t 指定模板 爬虫文件名 域名】),返回Requests给engine——> 2.engine拿到requests返回给scheduler（什么也没做）——> 3.然后scheduler会生成...
docs-scrapy-org-en-latest.pdf
04-24
- `scrapy genspider`: 生成一个新的爬虫。 - `scrapy crawl`: 启动指定的爬虫。 - `scrapy settings`: 查看项目的配置设置。 - `scrapy shell`: 进入交互式的Shell环境，用于测试选择器和调试请求。 ##### 3.2 ...
简述python Scrapy框架
09-16
**Python Scrapy框架详解** Scrapy是一个用Python编写的高效爬虫框架，它设计的目标是为了爬取网站数据，提取并处理结构性数据。Scrapy不仅适用于数据挖掘，还广泛应用于自动化测试场景，例如内容抓取、数据备份和...
爬虫入门到精通_框架篇17(Scrapy命令行详解)_可用的工具命令:startproject，genspider，crawl，check，list，edit...
weixin_41865866的博客
03-11 932
可用的工具命令:startproject，genspider，crawl，check，list，edit...
Python Scrapy爬虫框架详解
DEVELOPERAA的博客
01-29 1349
Scrapy 是一个基于 Twisted 实现的异步处理爬虫框架，该框架使用纯 Python 语言编写。Scrapy 框架应用广泛，常用于数据采集、网络监测，以及自动化测试等。
python爬虫系列（三）scrapy基本概念
farley的成长之路
09-26 640
本章内容 创建一个新的Scrapy项目 编写爬虫来抓取网站并提取数据 使用命令行导出已删除的数据 改变爬虫以递归方式跟随链接 爬虫参数 创建项目 在命令行中输入 scrapy startproject tutorial 这样就创建好了一个名为tutorial的项目，下面我们看下这个项目的目录结构 tutorial/ scrapy.cfg # 部署配置文件 ...
创建scrapy项目，运行，保存数据的详细过程
wan_yan_001的博客
09-13 6529
1.scrapy常用的几个语句 scrapy startproject 项目名 scrapy genspider 爬虫名 域名 scrapy crawl 爬虫名 2.创建scrapy项目步骤 2.1先配置scrapy框架，操作语句：pip install scrapy 2.2先打开windows+r,输入cmd，在scrapyproject目录下创建项目 创建项目语句：scrapy startproject myfirstProject ...
Scrapy爬虫框架，入门案例（非常详细）
热门推荐
ck784101777的博客
03-21 18万+
Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试. 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 后台也应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫. Scrapy吸引人的地...
Scrapy爬虫框架使用简述
weixin_41267342的博客
07-19 547
一、Scrapy简介： 1、scrapy框架的架构图如下 2、各个组件的功能 （1）、引擎(Scrapy Engine) 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。 （2）、调度器(Scheduler) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先...
Scrapy基本概念——命令行工具
激情人生，美好生活
11-20 878
一、构建项目的命令行使用 二、全局命令 三、项目命令
Python，Scrapy 爬虫框架，简单入手的案例（适合初学者阶段入手的案例）
m0_69938575的博客
07-22 3184
Python，Scrapy爬虫框架，简单入手的案例（适合新手）
用pycharm scrapy框架爬取软科-高等教育评价领先品牌院校的前五页内容并按照校名、地区、管理部门、类别、双一流 共计5个字段进行解析最后保存到csv文件的代码
06-10
以下是使用Scrapy框架爬取软科-高等教育评价领先品牌院校的前五页内容并按照校名、地区、管理部门、类别、双一流共计5个字段进行解析最后保存到csv文件的代码： 1. 创建Scrapy项目 在终端中输入以下命令创建Scrapy项目： ``` scrapy startproject university ``` 2. 创建Spider 在项目目录下创建Spider，用于爬取数据。在终端中输入以下命令： ``` scrapy genspider university_spider zuihaodaxue.com ``` 这里使用了软科榜单的网站zuihaodaxue.com作为爬取目标。 3. 编写Spider 打开university/spiders/university_spider.py文件，编写爬虫代码： ``` import scrapy from ..items import UniversityItem class UniversitySpider(scrapy.Spider): name = 'university_spider' allowed_domains = ['zuihaodaxue.com'] start_urls = ['http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html'] def parse(self, response): table = response.xpath('//table[@class="tablelist"]')[0] keys = table.xpath('.//th/text()').extract() for tr in table.xpath('.//tr')[1:]: item = UniversityItem() tds = tr.xpath('.//td/text()').extract() item[keys[0]] = tds[0] item[keys[1]] = tds[1] item[keys[2]] = tds[2] item[keys[3]] = tds[3] item[keys[4]] = tds[4] yield item # 爬取前5页数据 for i in range(2, 6): url = 'http://www.zuihaodaxue.com/zuihaodaxuepaiming2019{}.html'.format(i) yield scrapy.Request(url, callback=self.parse) ``` 代码解析： 1. Scrapy中的Spider需要继承scrapy.Spider类，并重写name和start_urls属性以及parse()方法。 2. 在parse()方法中，我们使用XPath定位到表格，并获取表头信息和表格数据。 3. 我们使用一个自定义的Item类UniversityItem来保存数据，并将数据保存为字典类型。 4. 最后，我们使用yield关键字返回item，将数据交给Scrapy框架处理。 5. 在parse()方法中，我们使用for循环爬取前5页数据，每页的URL格式为http://www.zuihaodaxue.com/zuihaodaxuepaiming2019x.html，其中x为页数。 4. 编写Item 在university/items.py文件中，定义UniversityItem类： ``` import scrapy class UniversityItem(scrapy.Item): name = scrapy.Field() region = scrapy.Field() department = scrapy.Field() category = scrapy.Field() double_first_class = scrapy.Field() ``` 这里我们定义了5个属性，分别对应校名、地区、管理部门、类别、双一流。 5. 编写Pipeline 在university/pipelines.py文件中，编写数据处理Pipeline： ``` import csv class UniversityPipeline(object): def __init__(self): self.file = open('university.csv', 'w', encoding='utf-8', newline='') self.writer = None def process_item(self, item, spider): if self.writer is None: self.writer = csv.DictWriter(self.file, fieldnames=item.keys()) self.writer.writeheader() self.writer.writerow(item) return item def close_spider(self, spider): self.file.close() ``` 这里我们使用csv库将数据保存到csv文件中。 6. 配置Settings 在university/settings.py文件中，配置ITEM_PIPELINES和FEED_EXPORT_ENCODING： ``` ITEM_PIPELINES = { 'university.pipelines.UniversityPipeline': 300, } FEED_EXPORT_ENCODING = 'utf-8' ``` 7. 运行Spider 在终端中输入以下命令运行Spider： ``` scrapy crawl university_spider ``` 运行结束后，数据会保存在university.csv文件中。 注意事项： 1. 在XPath中，使用双斜杠//可以跨越多个层级查找节点，单斜杠/只查找子节点。 2. 在使用XPath定位节点时，需要注意节点的层级关系。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值