hopyGreat的博客

前面已经写过一篇关于scrapy的简单文档了-scrapy入门。说是入门其实，应该只算得上是如何安装scrapy吧。那会儿原本打算继续写一些关于配置文件的博客的。但是由于各种事情的耽误（其实就是懒的没学），所以没有继续写了。虽然最近也很忙，有很多事情要做。但忙里偷闲（其实就是不想干正事儿），来学一学scrapy，目测以后用得上。本次学习的依据是scrapy的官方文档 - Scrap...

参考来源：《Python网络数据采集》41页参考来源：Scrapy文档 Scrapy生成的调试信息非常有用，但是通常太啰嗦，你可以在Scrapy项目中的setting.py中设置日志显示等级：LOG_LEVEL = 'ERROR' 日志级别Scrapy日志有五种等级，按照范围递增顺序排列如下：（注意《Python网络数据采集》书中这里有错）CRITICAL - 严重...

笔者python版本为3.5.21、首先使用pip3安装scrapy： pip3 install scrapy如果出现缺少库依赖的可以上网查一查安转相应的库依赖 测试安装成功：输入 scrapy  会出现 scrapy的指令参数提示等内容2、创建一个scrapy项目 scrapy startproject Demo此时会创建一的Demo目录，进入...

前面写了一篇起步的跟着scrapy文档学爬虫（1）了，隔了好久才又过来需更了。 1. 命令行工具scrapy是通过scrapy命令行来进行控制的，这里我们称之为“Scrapy tool”来区别子命令。对于子命令，我们直接称之为“commands”或“Scrapy commands”。 出于不同的需求，scrapy tool提供了许多命令，每条命令都接受一系列不同的参数和选项。...