Scrapy 1.5.0之命令行

最新推荐文章于 2020-03-01 23:24:43 发布

weixin_33895657

最新推荐文章于 2020-03-01 23:24:43 发布

阅读量107

点赞数

文章标签： python shell 爬虫

原文链接：https://my.oschina.net/gain/blog/1828129

版权

为什么80%的码农都做不了架构师？>>>

配置参数

系统层面： E:\Python 3.6.2\Lib\site-packages\scrapy\templates\project,
用户层面：~/.config/scrapy.cfg ($XDG_CONFIG_HOME) 及 ~/.scrapy.cfg ($HOME) 作全局设置
项目定义：在scrapy项目根路径下的 scrapy.cfg .

优先权：项目定义>用户层面>系统层面

Scrapy也会读取并通过环境变量来设置. 目前支持的有:

SCRAPY_SETTINGS_MODULE
SCRAPY_PROJECT
SCRAPY_PYTHON_SHELL

scrapy.cfg 文件是在项目的根目录，其中包括项目名称与项目设置。

[settings]
default = [name of the project].settings

[deploy]
#url = http://localhost:6800/
project = [name of the project]

Scrapy命令行

在爬虫项目外运行scrapy：

C:\Users\Administrator>scrapy
Scrapy 1.5.0 - no active project

Usage:
  scrapy <command> [options] [args]

Available commands:
  bench         Run quick benchmark test
  fetch         Fetch a URL using the Scrapy downloader
  genspider     Generate new spider using pre-defined templates
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

  [ more ]      More commands available when run from project directory

Use "scrapy <command> -h" to see more info about a command

在项目文件内运行scrapy：

F:\PycharmProjects\tutorial>scrapy
Scrapy 1.5.0 - project: tutorial

Usage:
  scrapy <command> [options] [args]

Available commands:
  bench         Run quick benchmark test
  check         Check spider contracts
  crawl         Run a spider
  edit          Edit spider
  fetch         Fetch a URL using the Scrapy downloader
  genspider     Generate new spider using pre-defined templates
  list          List available spiders
  parse         Parse URL (using its spider) and print the results
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

Use "scrapy <command> -h" to see more info about a command

创建项目

scrapy startproject myproject

该命令将会在 myproject 目录中创建一个Scrapy项目。

接下来，进入到项目目录中:

cd myproject

控制项目

创建一个新的spider:

scrapy genspider mydomain mydomain.com

有些Scrapy命令(比如 crawl)要求必须在Scrapy项目中运行。

有些命令在项目里运行时的效果有些许区别，以fetch命令为例，如果被爬取的url与某个特定spider相关联，则该命令将会使用spider的动作(spider-overridden behaviours) (比如spider指定的 user_agent)。一般来说， fetch 命令就是用来测试检查spider是如何下载页面。

工具命令行

通过运行命令来获取关于每个命令的详细内容:

scrapy <command> -h

您也可以查看所有可用的命令:

scrapy -h

Scrapy提供了两种类型的命令。

全局命令:

fetch: 它使用Scrapy downloader 提取的 URL。
runspider: 它用于而无需创建一个项目运行自行包含蜘蛛(spider)。
settings: 它规定了项目的设定值。
shell: 这是一个给定URL的一个交互式模块。
startproject: 它创建了一个新的 Scrapy 项目。
version: 它显示Scrapy版本。
view: 它使用Scrapy downloader 提取 URL并显示在浏览器中的内容。

项目命令:

crawl: 它是用来使用蜘蛛抓取数据；
check: 它检查项目并由 crawl 命令返回；
list: 它显示本项目中可用蜘蛛(spider)的列表；
edit: 可以通过编辑器编辑蜘蛛；
parse:它通过蜘蛛分析给定的URL；
bench: 它是用来快速运行基准测试(基准讲述每分钟可被Scrapy抓取的页面数量)。

自定义命令：

可以在Scrapy项目中通过COMMANDS_MODULE设置构建一个自定义项目命令。COMMANDS_MODULE = 'mycmd.commands'

startproject

语法: scrapy startproject
是否需要项目: no

在 project_name 文件夹下创建一个名为 project_name 的Scrapy项目。

例子:

$ scrapy startproject myproject

genspider

语法: scrapy genspider [-t template] <name> <domain>
是否需要项目: yes

在当前项目中创建spider。

这仅仅是创建spider的一种快捷方法。该方法可以使用提前定义好的模板来生成spider。您也可以自己创建spider的源码文件。

例子:

$ scrapy genspider -l  # 查看爬虫模板列表
Available templates:
  basic
  crawl
  csvfeed
  xmlfeed

$ scrapy genspider -d basic  # 查看爬虫basic的文本内容
import scrapy

class $classname(scrapy.Spider):
    name = "$name"
    allowed_domains = ["$domain"]
    start_urls = (
        'http://www.$domain/',
        )

    def parse(self, response):
        pass

$ scrapy genspider -t basic example example.com  # 以basic为模板创建example，加上--force参数表示覆盖
Created spider 'example' using template 'basic' in module:
  mybot.spiders.example

crawl

语法: scrapy crawl <spider>
是否需要项目: yes

使用spider进行爬取。

例子:

$ scrapy crawl myspider
[ ... myspider starts crawling ... ]

check

语法: scrapy check [-l] <spider>
是否需要项目: yes

运行contract检查，检查爬虫是否合规。

例子:

当某个爬虫文件出现错误时，会报错，包括语法错误。爬虫时通过name唯一标识。

 def parse(self, response):  # 语法不完整

F:\PycharmProjects\tutorial>scrapy check example
Traceback (most recent call last):
  File "e:\python 3.6.2\lib\runpy.py", line 193, in _run_module_as_main
    "__main__", mod_spec)
  File "e:\python 3.6.2\lib\runpy.py", line 85, in _run_code
    exec(code, run_globals)
··········································································

list

语法: scrapy list
是否需要项目: yes

列出当前项目中所有可用的spider。每行输出一个spider。

例子:

$ scrapy list
spider1
spider2

edit

语法: scrapy edit <spider>
是否需要项目: yes

使用 EDITOR 中设定的编辑器编辑给定的spider

该命令仅仅是提供一个快捷方式。开发者可以自由选择其他工具或者IDE来编写调试spider。

例子:

$ scrapy edit spider1  # windows下似乎无效

fetch

语法: scrapy fetch <url>
是否需要项目: no

使用Scrapy下载器(downloader)下载给定的URL，并将获取到的内容送到标准输出。

该命令以spider下载页面的方式获取页面。例如，如果spider有 USER_AGENT 属性修改了 User Agent，该命令将会使用该属性。

因此，您可以使用该命令来查看spider如何获取某个特定页面。

该命令如果非项目中运行则会使用默认Scrapy downloader设定。

支持的选项：

--spider = SPIDER：绕过 spider 自动检测，强制使用特定的spider
--headers：打印响应的 HTTP 头，而不是响应的正文
- -no-redirect：不遵循 HTTP 3xx 重定向（默认是遵循它们）

F:\PycharmProjects\tutorial>scrapy fetch --nolog http://www.example.com/some/page.html
<!doctype html>
<html>
·················································
</head>

<body>
·················································
</body>
</html>


F:\PycharmProjects\tutorial>scrapy fetch --nolog --headers http://www.example.com/
> Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
> Accept-Language: en
> User-Agent: Scrapy/1.5.0 (+https://scrapy.org)
> Accept-Encoding: gzip,deflate
>
< Cache-Control: max-age=604800
< Content-Type: text/html
< Date: Mon, 11 Jun 2018 06:05:55 GMT
< Etag: "1541025663+gzip"
< Expires: Mon, 18 Jun 2018 06:05:55 GMT
< Last-Modified: Fri, 09 Aug 2013 23:54:35 GMT
< Server: ECS (dca/249E)
< Vary: Accept-Encoding
< X-Cache: HIT

view

语法: scrapy view <url>
是否需要项目: no

在浏览器中打开给定的URL，并以Scrapy spider获取到的形式展现。有些时候spider获取到的页面和普通用户看到的并不相同。因此该命令可以用来检查spider所获取到的页面，并确认这是您所期望的。

例子：

$ scrapy view http://www.example.com/some/page.html
[ ... 开启浏览器 ... ]

shell

语法: scrapy shell [url]
是否需要项目: no

以给定的URL(如果给出)或者空(没有给出URL)启动Scrapy shell。查看 Scrapy终端(Scrapy shell) 获取更多信息。

支持的选项：

--spider = SPIDER：绕过 spider 自动检测，强制使用特定的spider
-c code：评估 shell 中的代码，打印结果并退出
--no-redirect：不遵循 HTTP 3xx 重定向（默认是遵循它们）;这只影响您可以在命令行上作为参数传递的 URL ;一旦你在shell中，默认情况下 fetch（url）仍然会遵循HTTP重定向。

例子:

$ scrapy shell http://www.example.com/some/page.html
[ ... scrapy shell starts ... ]

parse

语法: scrapy parse <url> [options]
是否需要项目: yes

获取给定的URL并使用相应的spider分析处理。如果您提供 --callback or -c 选项，则使用spider的该方法处理，否则使用 parse 。

支持的选项:

--spider=SPIDER: 跳过自动检测spider并强制使用特定的spider
--a NAME=VALUE: 设置spider的参数(可能被重复)
--callback or -c: spider中用于解析返回(response)的回调函数
--pipelines: 在pipeline中处理item
--rules or -r: 使用 CrawlSpider 规则来发现用来解析返回(response)的回调函数
--noitems: 不显示爬取到的item
--nolinks: 不显示提取到的链接
--nocolour: 避免使用pygments对输出着色
--depth or -d: 指定跟进链接请求的层次数(默认: 1)
--verbose or -v: 显示每个请求的详细信息

例子：

F:\PycharmProjects\tutorial>scrapy parse http://www.example.com/ -c parse_item
2018-06-11 14:29:41 [scrapy.utils.log] INFO: Scrapy 1.5.0 started (bot: tutorial)
2018-06-11 14:29:41 [scrapy.utils.log] INFO: Versions: lxml 4.1.1.0, libxml2 2.9.5, cssselect 1.0.1, parsel 1.2.0, w3lib 1.18.0, Twisted 17.9.0, Python 3.6.2 (v3.6.2:5fd33b5, Jul  8 2017, 04:14:34) [MSC v.1900 32 bit (Intel)], pyOpenSSL 17.3.0 (OpenSSL 1.1.0g  2 Nov 2017), cryptography 2.1.3, Platform Windows-10-10.0.15063-SP0
······················································································

>>> STATUS DEPTH LEVEL 0 <<<
# Scraped Items  ------------------------------------------------------------
[]
# Requests  -----------------------------------------------------------------
[]

settings

语法: scrapy settings [options]
是否需要项目: no

获取Scrapy的设定

在项目中运行时，该命令将会输出项目的设定值，否则输出Scrapy默认设定。

例子:

F:\PycharmProjects\tutorial>scrapy settings --get BOT_NAME
tutorial

F:\PycharmProjects\tutorial>scrapy settings --get DOWNLOAD_DELAY
0

runspider

语法: scrapy runspider <spider_file.py>
是否需要项目: no

在未创建项目的情况下，运行一个编写在Python文件中的spider。

例子:

$ scrapy runspider myspider.py
[ ... spider starts crawling ... ]

version

语法: scrapy version [-v]
是否需要项目: no

输出Scrapy版本。配合 -v 运行时，该命令同时输出Python, Twisted以及平台的信息，方便bug提交。

bench

0.17 新版功能.

语法: scrapy bench
是否需要项目: no

运行benchmark测试。 Benchmarking 。

自定义项目命令

您也可以通过 COMMANDS_MODULE 来添加您自己的项目命令。您可以以 scrapy/commands 中Scrapy commands为例来了解如何实现您的命令。

COMMANDS_MODULE

Default: '' (empty string)

用于查找添加自定义Scrapy命令的模块。

例子:

COMMANDS_MODULE = 'mybot.commands'

转载于:https://my.oschina.net/gain/blog/1828129

weixin_33895657

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫