php采集绕过cloudflare,javascript – 如何在Scrapy中绕过cloudflare bot/ddos​​保护？

所以我在

cloudflare-scrape的帮助下使用Python执行JavaScript.

对于您的刮刀,您需要添加以下代码：

def start_requests(self):

cf_requests = []

for url in self.start_urls:

token, agent = cfscrape.get_tokens(url, 'Your prefarable user agent, _optional_')

cf_requests.append(Request(url=url,

cookies={'__cfduid': token['__cfduid']},

headers={'User-Agent': agent}))

return cf_requests

与解析功能一起.就是这样！

当然,您需要先安装cloudflare-scrape并将其导入您的蜘蛛.您还需要安装JS执行引擎.我已经有了Node.JS,没有抱怨.