- 安装scrapy,安装方法链接 http://www.scrapyd.cn/doc/156.html
- 创建scrpay项目,命令行输入
scrapy startproject mingyan # 其中,mingyan是创建文件夹的名字,随意写。
- scrapy.cfg: 项目配置文件
- tutorial/ 项目python模块,待会代码将从这里导入,
- tutorial/items.py 项目items文件
- turorial/piplines.py 项目管道文件
- tutorial/settings.py 醒目配置文件
- tutorial/spiders 防治spider的目录
3./测试
scrapy shell http://lab.scrapyd.cn
response.css('title::text').extract_first()
4./css 选择器
获得下一页的网址
response.css('li.next a::attr(href)').extract_first()