scrapy 单独执行 spider

爬虫 scrapy 单独执行 spider模块

创建 .py 文件 名称随意 可用 minispider.py

内容

class Minispider(scrapy.Spider):
name = 'minaspider'

def start_requests(self):
    print('1, start request')
    urls = ['http://www.qidian.com/','http://www.baidu.com/']

    for url in urls:
        print('2,实例化')
        req = scrapy.Request(url,callback=None)
        print('3,生成器')
        yield req

def parse(self, response):
    print('4,parse解析')
    print(response)

start_requests为重写父类的方法。返回值是可迭代对象。对象中元素类型为scrapy.Resquest的实例化
urls 表示要爬取的地址
使用for 循环依次取出url值，实例化scrapy.Resquest(url,callback=None)
url 为地址。callback为None表示回调函数默认是parse。

终端执行：scrapy runspider minispider.py --nolog
–nolog 表示不打印日志
执行结果为：
1, start request
2,实例化
3,生成器
2,实例化
3,生成器
4,parse解析
<200 http://www.baidu.com/>
4,parse解析
<200 https://www.qidian.com/>