php curl 模拟chrome,php curl：如何完全像Web浏览器一样模拟get请求？

最新推荐文章于 2024-10-22 11:48:28 发布

谷歌出海智库

最新推荐文章于 2024-10-22 11:48:28 发布

阅读量825

点赞数

文章标签： php curl 模拟chrome

这篇博客详细介绍了如何使用PHP的curl库模拟Firefox浏览器的GET请求，特别是设置Accept-Encoding标头。通过对比Firefox实际请求和curl初始化请求的差异，展示了如何添加缺失的HTTP头部，并调整它们的顺序，以使模拟请求与真实浏览器请求一致。文章强调了虽然通常不需要关注标头顺序，但在某些情况下可能很重要。

摘要由CSDN通过智能技术生成

我会举一个例子首先确定要模拟的浏览器，在这种情况下，我选择了Accept-Encoding，并检查发出了什么GET请求，这可以通过一个简单的netcat服务器获得(MacOS捆绑了netcat，大多数linux发行版捆绑了netcat，Windows用户可以获取netcat 来自.. Cygwin.org等)，

设置netcat服务器以侦听端口9999：Accept-Encoding

现在在Firefox中点击[http://127.0.0.1:9999]，我得到：

$ nc -l 9999

GET / HTTP/1.1

Host: 127.0.0.1:9999

User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:60.0) Gecko/20100101 Firefox/60.0

Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8

Accept-Language: en-US,en;q=0.5

Accept-Encoding: gzip, deflate

Connection: keep-alive

Upgrade-Insecure-Requests: 1

现在让我们将其与以下简单脚本进行比较：

$ch=curl_init("http://127.0.0.1:9999");

curl_exec($ch);

我得到：

$ nc -l 9999

GET / HTTP/1.1

Host: 127.0.0.1:9999

Accept: */*

这里缺少一些标头，可以使用curl_setopt的CURLOPT_HTTPHEADER选项将其全部添加，但是应该特别将Accept-Encoding设置为CURLOPT_USERAGENT(它将在对curl_exec()的多次调用中保持不变，如果使用CURLOPT_FOLLOWLOCATION，则它将保持不变以及跨HTTP重定向)，而应该使用CURLOPT_ENCODING设置Accept-Encoding标头(如果使用CURLOPT_ENCODING设置，则curl将在服务器选择压缩响应时自动解压缩响应，但是如果您通过CURLOPT_HTTPHEADER进行设置，则必须自己手动检测并解压缩内容，这是一个痛苦的过程，通常来说是完全不必要的)，因此添加以下内容：

$ch=curl_init("http://127.0.0.1:9999");

curl_setopt_array($ch,array(

CURLOPT_USERAGENT=>'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:60.0) Gecko/20100101 Firefox/60.0',

CURLOPT_ENCODING=>'gzip, deflate',

CURLOPT_HTTPHEADER=>array(

'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',

'Accept-Language: en-US,en;q=0.5',

'Connection: keep-alive',

'Upgrade-Insecure-Requests: 1',

));

curl_exec($ch);

现在运行该代码，我们的netcat服务器将获得：