php curl get 模拟浏览器,php - php curl：我怎样才能像Web浏览器一样模拟get请求？ - SO中文参考 - www.soinside.com...

最新推荐文章于 2023-03-07 16:03:46 发布

杜江楠

最新推荐文章于 2023-03-07 16:03:46 发布

阅读量167

点赞数

文章标签： php curl get 模拟浏览器

本文详细介绍了如何使用PHP的curl库模拟Firefox浏览器的GET请求，包括设置正确的请求头如User-Agent、Accept等，以及处理Accept-Encoding以确保与真实浏览器行为一致。通过对比netcat服务器接收到的请求，验证了模拟请求的准确性。

摘要由CSDN通过智能技术生成

我将举一个例子，首先确定你要模拟的浏览器，在这种情况下我选择Firefox 60.6.1esr (64-bit)，并检查它发出的GET请求，这可以通过一个简单的netcat服务器获得(MacOS捆绑netcat，大多数Linux发行版bunles netcat ，Windows用户可以从.. Cygwin.org，以及其他地方获得netcat)，

设置netcat服务器以侦听端口9999：nc -l 9999

$ nc -l 9999

GET / HTTP/1.1

Host: 127.0.0.1:9999

User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:60.0) Gecko/20100101 Firefox/60.0

Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8

Accept-Language: en-US,en;q=0.5

Accept-Encoding: gzip, deflate

Connection: keep-alive

Upgrade-Insecure-Requests: 1

现在让我们将它与这个简单的脚本进行比较：

$ch=curl_init("http://127.0.0.1:9999");

curl_exec($ch);

我得到：

$ nc -l 9999

GET / HTTP/1.1

Host: 127.0.0.1:9999

Accept: */*

这里有几个缺少的标题，它们都可以使用curl_setopt的CURLOPT_HTTPHEADER选项添加，但User-Agent应该使用CURLOPT_USERAGENT来设置(它将在多次调用curl_exec()时保持不变，如果使用CURLOPT_FOLLOWLOCATION则它将保持不变也可以使用CURLOPT_ENCODING设置Accept-Encoding标头(如果它们设置为CURLOPT_ENCODING，那么如果服务器选择压缩它，curl会自动解压缩响应，但是如果你通过CURLOPT_HTTPHEADER设置它，那么你必须自己手动检测和解压缩内容，这是一个痛苦的屁股，完全没必要，一般来说)所以添加我们得到的：

$ch=curl_init("http://127.0.0.1:9999");

curl_setopt_array($ch,array(

CURLOPT_USERAGENT=>'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:60.0) Gecko/20100101 Firefox/60.0',

CURLOPT_ENCODING=>'gzip, deflate',

CURLOPT_HTTPHEADER=>array(

'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',

'Accept-Language: en-US,en;q=0.5',

'Connection: keep-alive',

'Upgrade-Insecure-Requests: 1',

));

curl_exec($ch);

现在运行该代码，我们的netcat服务器得到：