1.创建一个新项目:
scrapy startproject myproject
2.在新项目中创建一个新的spider文件:
scrapy genspider mydomain baidu.com
mydomain为spider文件名,baidu.com为爬取网站域名
3.运行spider文件:
scrapy crawl <spider>
4.检查spider文件有无语法错误:
scrapy check
5.列出spider路径下的spider文件:
scrapy list
6.编辑spider文件:
scrapy edit <spider>
7.将网页内容下载下来,然后在终端打印当前返回的内容,相当于 request 和 urllib 方法:
scrapy fetch <url>
8.将网页内容保存下来,并在浏览器中打开当前网页内容,直观呈现要爬取网页的内容:
scrapy view <url>
9.打开 scrapy 显示台,类似ipython,可以用来做测试:
scrapy shell [url]
10.输出格式化内容:
scrapy parse <url> [options]
11.返回系统设置信息:
scrapy settings [options]
12.运行spider:
scrapy runspider <spider_file.py>