![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Scrapy
缤纷冷泪
这个作者很懒,什么都没留下…
展开
-
Scrapy 学习笔记 - 全局配置文件
参考 https://doc.scrapy.org/en/1.3/topics/commands.htmlScrapy 会查找文件名为 scrapy.cfg 的配置文件,配置文件为 ini 格式,文件的标准路径如下:/etc/scrapy.cfg 或者 c:\scrapy\scrapy.cfg (系统级别配置),~/.config/scrapy.cfg ($XDG_CONFIG_HOME) , ~...原创 2018-02-27 18:42:49 · 1187 阅读 · 0 评论 -
Scrapy 学习笔记 - 爬虫类 Spider
参考 http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/spiders.htmlSpider 是一个爬虫类,定义如何爬去网页或网站。可以继承Spider类,进行自定义。形式如下:import scrapyclass myFirstSpider(scrapy.Spider): name = "myFirst_Spider_Task" #...原创 2018-02-24 11:59:53 · 268 阅读 · 0 评论 -
Scrapy 学习笔记 - Mac OS 上安装
我的Mac OS 上的Python是2.7的。先安装pip下载 https://bootstrap.pypa.io/get-pip.py 得到 get-pip.py文件然后,在终端中运行 Python get-pip.py 或者 sudo Python get-pip.py因为我直接安装 Scrapy,报错:对six库没有操作权限。对我来说靠谱的解决办法是http://blog.csdn.n...原创 2018-02-23 18:03:59 · 306 阅读 · 0 评论 -
Scrapy 学习笔记 - 第一个项目
参考http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html#id2因为我是在虚拟环境中安装的Scrapy,所以要先切换到虚拟环境cd Scrapyenvsource bin/activate创建一个项目scrapy startproject myfirst会在当前目录创建一些文件项目名/ scrapy.cfg ...原创 2018-02-23 18:43:52 · 295 阅读 · 0 评论 -
Scrapy 学习笔记 - 使用WingIDE调试
看输出日志调试也不是不行,但要时刻记住IDE就是生产力。我使用的WingIDE版本是5.1.81、新建WingIDE项目我在Max OS上 基于Python2.7 安装的Scrapy,由于使用了virtualenv虚拟环境, 所以我选择的是Generic with virtualenv。project->new project->Generic with virtualenv同时指定...原创 2018-02-24 13:53:20 · 513 阅读 · 0 评论 -
Scrapy 学习笔记 - 一个练手任务 ,爬取起点的全部小说名
import scrapyclass myFirstSpider(scrapy.Spider): name = "myFirst_Spider_Task" #allowed_domains = ["cmis.bjedu.cn"] start_urls = ["https://www.qidian.com/all",] #第一个网址 def parse(self,...原创 2018-03-22 18:40:12 · 370 阅读 · 0 评论