python shell 运行时不打印日志_Python爬虫：Scrapy框架的命令行，让你的工作事半功倍...

新手在学习scrapy的时候，为了调试XPATH是否是我需要的东西的时候，总是要不停的运行整个项目，这回浪费非常多的时间，这个时候，scrapy的shell命令就能帮你节省大量的时间。

这篇文章主要是对的scrapy命令行使用的一个介绍

创建爬虫项目

scrapy startproject 项目名

这个时候爬虫的目录结构就已经创建完成了,目录结构如下：

接着我们按照提示可以生成一个spider,这里以百度作为例子,生成spider的命令格式为;

scrapy genspider 爬虫名字 爬虫的网址

localhost:test1 zhaofan$ scrapy genspider baiduSpider baidu.comCreated spider 'baiduSpider' using template 'basic' in module: test1.spiders.baiduSpiderlocalhost:test1 zhaofan$ 

关于命令详细使用

命令的使用范围

这里的命令分为全局的命令和项目的命令，全局的命令表示可以在任何地方使用，而项目的命令只能在项目目录下使用

全局的命令有：

startproject

genspider

settings

runspider

shell

fetch

view

version

项目命令有：

crawl

check

list

edit

parse

bench

startproject

这个命令没什么过多的用法，就是在创建爬虫项目的时候用

genspider

用于生成爬虫，这里scrapy提供给我们不同的几种模板生成spider,默认用的是basic,我们可以通过命令查看所有的模板

当我们创建的时候可以指定模板，不指定默认用的basic,如果想要指定模板则通过

scrapy genspider -t 模板名字

crawl

这个是用去启动spider爬虫格式为：

scrapy crawl 爬虫名字

这里需要注意这里的爬虫名字和通过scrapy genspider 生成爬虫的名字是一致的

check

用于检查代码是否有错误，scrapy check

list

scrapy list列出所有可用的爬虫

fetch

scrapy fetch url地址

该命令会通过scrapy downloader 讲网页的源代码下载下来并显示出来

这里有一些参数：

--nolog 不打印日志

--headers 打印响应头信息

--no-redirect 不做跳转

view

scrapy view url地址

该命令会讲网页document内容下载下来，并且在浏览器显示出来

因为现在很多网站的数据都是通过ajax请求来加载的，这个时候直接通过requests请求是无法获取我们想要的数据，所以这个view命令可以帮助我们很好的判断

shell

这是一个命令行交互模式

通过scrapy shell url地址进入交互模式

这里我么可以通过css选择器以及xpath选择器获取我们想要的内容(xpath以及css选择的用法会在下个文章中详细说明),例如我们通过scrapy shell http://www.baidu.com

这里最后给我们返回一个response,这里的response就和我们通requests请求网页获取的数据是相同的。

view(response)会直接在浏览器显示结果

response.text 获取网页的文本

下图是css选择器的一个简单用法

settings

获取当前的配置信息

通过scrapy settings -h可以获取这个命令的所有帮助信息

拿一个例子进行简单的演示：(这里是我的这个项目的settings配置文件中配置了数据库的相关信息，可以通过这种方式获取，如果没有获取的则为None)

runspider

这个和通过crawl启动爬虫不同，这里是scrapy runspider 爬虫文件名称

所有的爬虫文件都是在项目目录下的spiders文件夹中

version

查看版本信息，并查看依赖库的信息

做什么事情都需要不断地坚持下去，编程也一样。现在python语言十分火热，职场对python的需求也很高，薪资待遇都很棒。所以希望大家能够坚持学习，‘剩’者为王，坚持下来的人才有资格称王。如果你觉得本文对你的学习有帮助的话，不妨点个关注，我会持续更新。