python爬虫框架scrapy使用指令

最新推荐文章于 2022-04-06 08:26:18 发布
最新推荐文章于 2022-04-06 08:26:18 发布
阅读量531 收藏 4
点赞数
分类专栏： 爬虫 文章标签： Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45137516/article/details/102792487
版权

1.常用命令

全局指令:
 bench         Run quick benchmark test	# 测试
 fetch         Fetch a URL using the Scrapy downloader # 使用或者下载某个网页
 genspider     Generate new spider using pre-defined templates	# 创建爬虫文件
 runspider     Run a self-contained spider (without creating a project)	# 运行独立的爬虫
 settings      Get settings values	# 配置设置
 shell         Interactive scraping console	#交互式页面	          startproject  Create new project	# 创建一个爬虫项目
 version       Print Scrapy version	#显示版本信息
 view          Open URL in browser, as seen by Scrapy	# 在浏览器打开一个URL
  项目指令:
 check        Check spider contracts #检查协议
 crawl        Run a spider	#运行某一个爬虫文件
 edit         Edit spider	#命令编写爬虫文件
 list         List available spiders  #展示这个文件夹下可以爬虫的所有文件
 parse        Parse URL (using its spider) and print the results	# 解析url（使用它的spider）并打印结果

创建项目

C:\Users\Administrator>D:	#进入D盘
D:\>cd scrapy	#进入scrapy的文件夹
D:\scrapy>scrapy startproject shop	#在scrapy文件夹下创建一个名叫shop的爬虫项目

生成以下文件

一级文件夹/文件二级文件夹/文件shop文件夹下的文件夹/文件spiders文件夹下的文件夹/文件
scrapyshop_pycache_:做缓存_init_.py:初始文件
.scrapy.cfg:配置文件spiders:里面放置爬虫文件
.._init_.py:初始文件
..items.py:爬取需要的目标数据的文件
..middlewares.py:中间件的文件
..pipelines.py:爬后处理的文件
..settings.py:设置文件

fetch命令

D:\PyTest\shop>scrapy fetch http://www.baidu.com
2019-10-29 09:55:07 [scrapy.utils.log] INFO: Scrapy 1.7.4 started (bot: shop)
2019-10-29 09:55:07 [scrapy.utils.log] INFO: Versions: lxml 4.4.1.0, libxml2 2.9.5, cssselect 1.1.0, parsel 1.5.2, w3lib 1.21.0, Twisted 19.7.0, Python 3.6.6 (v3.6.6:4cf1f54eb7, Jun 27 2018, 03:37:03) [MSC v.1900 64 bit (AMD64)], pyOpenSSL 19.0.0 (OpenSSL 1.1.0j  20 Nov 2018), cryptography 2.4.2, Platform Windows-10-10.0.18362-SP0
2019-10-29 09:55:07 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'shop', 'NEWSPIDER_MODULE': 'shop.spiders', 'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['shop.spiders']}
2019-10-29 09:55:07 [scrapy.extensions.telnet] INFO: Telnet Password: ea2a77de7191b5be
2019-10-29 09:55:07 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.corestats.CoreStats',
 'scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.logstats.LogStats']
2019-10-29 09:55:07 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',
 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2019-10-29 09:55:07 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2019-10-29 09:55:07 [scrapy.middleware] INFO: Enabled item pipelines:
['shop.pipelines.ShopPipeline']
2019-10-29 09:55:07 [scrapy.core.engine] INFO: Spider opened
2019-10-29 09:55:07 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2019-10-29 09:55:07 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023
2019-10-29 09:55:07 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.baidu.com/robots.txt> (referer: None)
2019-10-29 09:55:07 [scrapy.downloadermiddlewares.robotstxt] DEBUG: Forbidden by robots.txt: <GET http://www.baidu.com>
2019-10-29 09:55:07 [scrapy.core.engine] INFO: Closing spider (finished)
2019-10-29 09:55:07 [scrapy.core.engine] ERROR: Scraper close failure
Traceback (most recent call last):
  File "c:\program files\python\lib\site-packages\twisted\internet\defer.py", line 654, in _runCallbacks
    current.result = callback(current.result, *args, **kw)
TypeError: close_spider() takes 1 positional argument but 2 were given
2019-10-29 09:55:07 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/exception_count': 1,
 'downloader/exception_type_count/scrapy.exceptions.IgnoreRequest': 1,
 'downloader/request_bytes': 222,
 'downloader/request_count': 1,
 'downloader/request_method_count/GET': 1,
 'downloader/response_bytes': 677,
 'downloader/response_count': 1,
 'downloader/response_status_count/200': 1,
 'elapsed_time_seconds': 0.363772,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2019, 10, 29, 1, 55, 7, 959617),
 'log_count/DEBUG': 2,
 'log_count/ERROR': 1,
 'log_count/INFO': 10,
 'response_received_count': 1,
 'robotstxt/forbidden': 1,
 'robotstxt/request_count': 1,
 'robotstxt/response_count': 1,
 'robotstxt/response_status_count/200': 1,
 'scheduler/dequeued': 1,
 'scheduler/dequeued/memory': 1,
 'scheduler/enqueued': 1,
 'scheduler/enqueued/memory': 1,
 'start_time': datetime.datetime(2019, 10, 29, 1, 55, 7, 595845)}
2019-10-29 09:55:07 [scrapy.core.engine] INFO: Spider closed (finished)

D:\PyTest\shop>

查看爬虫模板命令

D:\PyTest>scrapy genspider -l
Available templates:
  basic		#基本模板
  crawl		#自动模板,和上面的指令crawl不一样
  csvfeed	#爬出csv格式的数据
  xmlfeed	#爬出xml格式的数据

D:\PyTest>

生成爬虫文件

D:\PyTest\shop>scrapy genspider -t basic test baidu.com
Created spider 'test' using template 'basic' in module:
  shop.spiders.test

D:\PyTest\shop>

测试文件是否合格

D:\PyTest\shop>scrapy check test

----------------------------------------------------------------------
Ran 0 contracts in 0.000s

OK

D:\PyTest\shop>

运行文件

D:\PyTest\shop>scrapy crawl test
2019-10-29 13:13:58 [scrapy.utils.log] INFO: Scrapy 1.7.4 started (bot: shop)
2019-10-29 13:13:58 [scrapy.utils.log] INFO: Versions: lxml 4.4.1.0, libxml2 2.9.5, cssselect 1.1.0, parsel 1.5.2, w3lib 1.21.0, Twisted 19.7.0, Python 3.6.6 (v3.6.6:4cf1f54eb7, Jun 27 2018, 03:37:03) [MSC v.1900 64 bit (AMD64)], pyOpenSSL 19.0.0 (OpenSSL 1.1.0j  20 Nov 2018), cryptography 2.4.2, Platform Windows-10-10.0.18362-SP0
2019-10-29 13:13:58 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'shop', 'NEWSPIDER_MODULE': 'shop.spiders', 'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['shop.spiders']}
2019-10-29 13:13:58 [scrapy.extensions.telnet] INFO: Telnet Password: bc18b295f6e16b99
2019-10-29 13:13:58 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.corestats.CoreStats',
 'scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.logstats.LogStats']
2019-10-29 13:13:59 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',
 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2019-10-29 13:13:59 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2019-10-29 13:13:59 [scrapy.middleware] INFO: Enabled item pipelines:
['shop.pipelines.ShopPipeline']
2019-10-29 13:13:59 [scrapy.core.engine] INFO: Spider opened
2019-10-29 13:13:59 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2019-10-29 13:13:59 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023
2019-10-29 13:13:59 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://baidu.com/robots.txt> (referer: None)
2019-10-29 13:13:59 [scrapy.downloadermiddlewares.robotstxt] DEBUG: Forbidden by robots.txt: <GET http://baidu.com/>
2019-10-29 13:13:59 [scrapy.core.engine] INFO: Closing spider (finished)
2019-10-29 13:13:59 [scrapy.core.engine] ERROR: Scraper close failure
Traceback (most recent call last):
  File "c:\program files\python\lib\site-packages\twisted\internet\defer.py", line 654, in _runCallbacks
    current.result = callback(current.result, *args, **kw)
TypeError: close_spider() takes 1 positional argument but 2 were given
2019-10-29 13:13:59 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/exception_count': 1,
 'downloader/exception_type_count/scrapy.exceptions.IgnoreRequest': 1,
 'downloader/request_bytes': 218,
 'downloader/request_count': 1,
 'downloader/request_method_count/GET': 1,
 'downloader/response_bytes': 2680,
 'downloader/response_count': 1,
 'downloader/response_status_count/200': 1,
 'elapsed_time_seconds': 0.333113,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2019, 10, 29, 5, 13, 59, 436161),
 'log_count/DEBUG': 2,
 'log_count/ERROR': 1,
 'log_count/INFO': 10,
 'response_received_count': 1,
 'robotstxt/forbidden': 1,
 'robotstxt/request_count': 1,
 'robotstxt/response_count': 1,
 'robotstxt/response_status_count/200': 1,
 'scheduler/dequeued': 1,
 'scheduler/dequeued/memory': 1,
 'scheduler/enqueued': 1,
 'scheduler/enqueued/memory': 1,
 'start_time': datetime.datetime(2019, 10, 29, 5, 13, 59, 103048)}
2019-10-29 13:13:59 [scrapy.core.engine] INFO: Spider closed (finished)

D:\PyTest\shop>

运行但不显示

D:\PyTest\shop>scrapy crawl test --nolog

D:\PyTest\shop>

查看当前文件下有哪些可用的爬虫文件

D:\PyTest\shop>scrapy list
test

D:\PyTest\shop>

Xpath表达式

Xpath表达式与正则表达式简单对比：

  1. Xpath表达式效率会高一点
  2. 正则表达式功能会强大一点
  3. 一般来说,优先选择Xpath,但是Xpath解决不了的问题我们就选正则去解决.

使用:
/ ： 逐层提取
text()： 标签下面的文本
//标签名： 提取所有名为**的标签
//标签名[@属性=‘属性值’]：提取属性为xx的标签
@属性名：代表去某个属性

如提取某个页面的标题: /html/head/title/text()
提取所有的div标签: //div
如果有个为<div class=“tools”></div>标签的内容: //div[@class=‘tools’]/text()

是秀呀
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Mac搭建TensorFlow环境踩过的那些坑
简言
04-17 4887
安装tensorflow时，输入Pip install tensorflow后出现错误提示，其中红色提示文字：matplotlib 1.3.1 requires nose，which is not installed.matplotlib 1.3.1 requires tornado，,which is not installed.matplotlib 1.3.1 has requirement ...
Scrapy爬取数据[scrapy.core.scraper] ERROR: Spider error processing解决办法
zp17834994071的博客
08-26 1万+
在爬取数据的时候遇到会遇到很多各种各样的问题，但是有一个问题会经常出现，并且原因还很难发现，下面就给大家说下这个问题的原因，以及解决办法，开始运行会出现这样的一个错误： [scrapy.core.scraper] ERROR: Spider error processing 爬取数据代码： 出现的报错问题详细信息： 这时显示的信息是有空值None出现,导致的，其实也不难理解，大家可以想想，当我们爬取完网页信息的时候，当爬到最后一页的页面时，接下来就没有下一页的信息，如果我们没有进行判断的话，就会继续爬下
scrapy爬虫命令
m0_46563929的博客
04-06 1344
1.创建项目：scrapy startproject test_scrapy 2. 找目录：cd .\test_scrapy\ 3.创建一个模板： scrapy genspider python01 www.xxx.com 4.运行模板，看好使不：scrapy runspider .\test_scrapy\spiders\python01.py 5.两种命令都试试： scrapy crawl python01 6.改参数，让它只报错： 7.生成json文件:scrapy crawl pyt
Google Chrome 新手入门 相关参数设置
11-23 4958
 Google Chrome 新手入门2009/08/23 下午 05:55一、基础知识 1.Google Chrome 采用 WebKit 内核 ，并拥有目前最快的 JavaScript 引擎 V8 。另外，它是多进程（Multi-process）模式的浏览器，所以当你打开多个标签页时，任务管理器中会有多个相同的 chrome.exe ；这样，当一个标签页崩溃时，也不会影响到其他
Python爬虫系列之----Scrapy(四)一个简单的示例
fendo
04-15 7992
111111
python爬虫基础知识.zip
02-01
3. Scrapy：一个强大的爬虫框架，集成了爬取、数据处理、异常处理等功能，适合构建大型爬虫项目。 4. PyQuery：模仿jQuery语法，用于解析HTML文档，操作起来更直观。 5. Selenium：模拟真实浏览器行为，可以处理...
这年头学爬虫还就得会点 scrapy 框架
12-21
Scrapy是一个强大的Python爬虫框架，专为高效地抓取网站和提取结构化数据而设计。它的核心功能包括网络爬取、数据处理和存储，同时还提供了丰富的扩展机制，允许用户根据需求定制自己的爬虫项目。Scrapy的特性包括：...
零基础Python爬虫48小时速成课.txt
09-23
39 6.05scrapy指令.mp4 40 6.06scrapy的Response及数据解析.mp4 41 7.01回顾知识点.mp4 42 7.02Item应用.mp4 43 7.03pipeline处理_1.mp4 44 7.04定量爬虫及中间件说明.mp4 45 7.05下载中间件的方法说明.mp4 ...
交互式爬虫框架.zip
最新发布
03-08
常见的Python爬虫框架有Scrapy、BeautifulSoup+Requests等。 二、交互式爬虫 传统的爬虫往往按照预设的规则运行，而交互式爬虫则引入了人机交互，可以在爬取过程中根据实际情况进行干预。这在处理动态网页、反爬...
Scrapy shell调试返回403错误
fendo
04-17 1万+
一、问题描述 有时候用scrapy shell来调试很方便,但是有些网站有防爬虫机制,所以使用scrapy shell会返回403,比如下面 C:\Users\fendo>scrapy shell https://book.douban.com/subject/26805083/ 2017-04-17 15:18:53 [scrapy.utils.log] INFO: Scra
Python获取Google sheet中的内容
简言
08-06 1万+
google 提供了各种API供开发者使用，之前介绍了map api的简单用法，这里介绍下googlesheet的api简单用法。
TypeError: method() missing 1 required positional argument: 'self'
C2496649361的博客
05-04 8681
学习python的时候把python学习手册上面的示例代码跟着敲了一遍。然后居然发现不能通过。检查之后发现确实不是抄错了，就是这行代码无法通过。我不知道作者的是如何通过的，反正我自己的编译器就是无法通过。首先上教材原代码： class Super: def method(self): print('in Super.method') def delegate...
爬虫Scrapy框架项目运行时报错！求解决！
热门推荐
kyrie_love的博客
03-26 3万+
E:\JetBrains\PyCharm\mySpider&gt;scrapy crawl itcast -o itcast.json2018-03-26 14:50:23 [scrapy.utils.log] INFO: Scrapy 1.5.0 started (bot: mySpider)2018-03-26 14:50:23 [scrapy.utils.log] INFO: Version...
python爬虫之十一_scrapy框架经验、错误
IMchg的博客
11-05 4777
发是发发发的
Python爬虫框架Scrapy详解
"Scrapy是Python开发的爬虫框架，其设计灵感来源于Django，具有灵活性高、功能强大的特点。Scrapy提供了丰富的文档，包括初学者指南、安装教程、基本概念介绍，如命令行工具、爬虫、选择器、Item、ItemLoader、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值