Cloudflare反爬

Cloudflare反爬实例

很久没有写博文了，今儿个遇到了一个之前没有碰到的情况，目标网站使用了cloudflare进行反爬设置，这里记录一下.

背景

解决途径

# 解决办法 
# 首先 pip install cloudscraper

import cloudscraper
scraper = cloudscraper.create_scraper()
    print(scraper.get(
        "target_domain.com").text
          )

# 勘误
browser = cloudscraper.create_scraper()
req = spider.browser.get(url,
			             proxies={'http':'',
			                      'https':''
			                      },
			             headers={'referer': url},
			                )

------盗文章死妈---------.

建议看下文

scrapy兼容cloudscraper

因使用cloudescraper需升级openssl版本教程