1.创建爬虫框架:scrapy startproject <爬虫程序的名字> douban
2.使用cd命令,进入到我们第一步创建的爬虫框架里面执行:scrapy genspider douban "目标网址的域名"
3.运行爬虫程序:scrapy crawl <spider>
# spider
是爬虫程序文件中的name
,也就是唯一标识
4.编写一个main.py
文件
导入 scrapy
中的cmsline
模块,
可以实现控制终端运行from scrapy import cmdline
使用 execute
()方法,输入运行scrapy爬虫的命令:scrapy crawl <spider>:
名字
cmdline.execute(['scrapy','crawl','爬虫的名字'])