关于scrapy使用自定义参数主要是在命令上用crawl控制spider的同时加上 -a,从而做到自定义参数,例如:
scrapy crawl spiderName -a symbol=symbol
在spider中加入以下部分:
def __init__(self, symbol='', *args, **kwargs):
super().__init__(*args, **kwargs)
self.symbol = symbol
使用方法如下:
import scrapy
class MySpider
neme = 'name'
def __init__(self, symbol='', *args, **kwargs):
super().__init__(*args, **kwargs)
self.symbol = symbol
def start_requests(self):
url = 'https://zcbm.bicoin.info/futureTrade/trade/getAllTradesBySymbol?timeType=4h&symbol={}'.format(self.symbol)
yield scrapy.Request(url, headers=self.headers, callback=self.parse)
def parse(self, response):
......
最后通过命令:scrapy crawl MySpider -a symbol='ABC'
执行即可。