php采集绕过cloudflare,三行代码带你绕过cloudflare反爬

在使用Python编写蜘蛛爬取数据时，偶尔也有失败的，其中有种失败的情况就是目标站使用coludflare cdn，爬取数据时总是返回400 bad request。

今天我就详细的给大家讲解一下如何突破cloudflare cdn反爬。

第一步：安装所需pytho库：pip install cfscrape

第二步：处理get请求

import cfscrape

#实例话一个CloudflareScraper对象

scraper=cfscrape.create_scraper()

# 或者scraper=cfscrape.CloudflareScraper()也可以

# 如果出现错误可以加个延迟

# scraper = cfscrape.create_scraper(delay=10)

# 获取真实网页源代码

web_data=scraper.get('http://yourwebsite.com').content

第三步：处理post请求

import cfscrape

#实例话一个CloudflareScraper对象

scraper=cfscrape.create_scraper()

# 或者scraper=cfscrape.CloudflareScraper()也可以

# 如果出现错误可以加个延迟

# scraper = cfscrape.create_scraper(delay=10)

# 获取真实网页源代码

web_data=scraper.post('http://yourwebsite.com').content

最后编辑：2019-12-08作者：搬运工

这个作者貌似有点懒，什么都没有留下。