PHP爬虫遇到incapsula

最近爬取一个国外的网站，一开始就各种不顺。。。。。。

“Request unsuccessful”，这个请求没有成功......；我注意到返回的这个HTML的头文件中有一个<meta>属性中出现了robots的字样

以前没有见过这个属性，因此觉得问题的突破口可能就是这个，上网百度之后发现，NAME=ROBOTS和content=“noidex，nofollow”这两个attribute就是用来屏蔽网络爬虫的。因为我的爬虫程序比较简单，在使用requests.get()的方法时并没有发送headers过去，因此被网站认为是网络机器人（网络爬虫）,限制了我的程序对网站的访问。

知道了问题的原因，接下来就容易多了；打开Chrome，F12打开开发者工具，在Chrome地址栏输入要爬取的网址，然后如下图所示，找到网页主体内容：