2018年02月_缤纷冷泪

11月 03月 02月

原创 Scrapy 学习笔记 - 全局配置文件

参考 https://doc.scrapy.org/en/1.3/topics/commands.htmlScrapy 会查找文件名为 scrapy.cfg 的配置文件，配置文件为 ini 格式，文件的标准路径如下:/etc/scrapy.cfg 或者 c:\scrapy\scrapy.cfg (系统级别配置),~/.config/scrapy.cfg ($XDG_CONFIG_HOME) ， ~...

2018-02-27 18:42:49 1203

原创 Scrapy 学习笔记 - 使用WingIDE调试

看输出日志调试也不是不行，但要时刻记住IDE就是生产力。我使用的WingIDE版本是5.1.81、新建WingIDE项目我在Max OS上基于Python2.7 安装的Scrapy，由于使用了virtualenv虚拟环境，所以我选择的是Generic with virtualenv。project->new project->Generic with virtualenv同时指定...

2018-02-24 13:53:20 518

原创 Scrapy 学习笔记 - 爬虫类 Spider

参考 http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/spiders.htmlSpider 是一个爬虫类，定义如何爬去网页或网站。可以继承Spider类，进行自定义。形式如下：import scrapy class myFirstSpider(scrapy.Spider): name = "myFirst_Spider_Task" #...

2018-02-24 11:59:53 277

原创 Scrapy 学习笔记 - 第一个项目

参考http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html#id2因为我是在虚拟环境中安装的Scrapy，所以要先切换到虚拟环境cd Scrapyenv source bin/activate创建一个项目scrapy startproject myfirst会在当前目录创建一些文件项目名/ scrapy.cfg ...

2018-02-23 18:43:52 306

原创 Scrapy 学习笔记 - Mac OS 上安装

我的Mac OS 上的Python是2.7的。先安装pip下载 https://bootstrap.pypa.io/get-pip.py 得到 get-pip.py文件然后，在终端中运行 Python get-pip.py 或者 sudo Python get-pip.py因为我直接安装 Scrapy，报错：对six库没有操作权限。对我来说靠谱的解决办法是http://blog.csdn.n...

2018-02-23 18:03:59 312