Curl 请求数据

已于 2023-02-25 13:24:32 修改
阅读量755 收藏
点赞数
分类专栏： PHP 文章标签： PHP CURL
于 2018-06-07 13:20:13 首次发布
原文链接：https://www.cnblogs.com/CHEUNGKAMING/p/5717429.html
版权

//参数1：访问的URL，参数2：post数据(不填则为GET)，参数3：提交的$cookies,参数4：是否返回$cookies
 function curl_request($url,$post='',$cookie='', $returnCookie=0){
        $curl = curl_init();
        curl_setopt($curl, CURLOPT_URL, $url);
        curl_setopt($curl, CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; Trident/6.0)');
        curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);
        curl_setopt($curl, CURLOPT_AUTOREFERER, 1);
        curl_setopt($curl, CURLOPT_REFERER, "http://XXX");
        if($post) {
            curl_setopt($curl, CURLOPT_POST, 1);
            curl_setopt($curl, CURLOPT_POSTFIELDS, http_build_query($post));
        }
        if($cookie) {
            curl_setopt($curl, CURLOPT_COOKIE, $cookie);
        }
        curl_setopt($curl, CURLOPT_HEADER, $returnCookie);
        curl_setopt($curl, CURLOPT_TIMEOUT, 10);
        curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
        $data = curl_exec($curl);
        if (curl_errno($curl)) {
            return curl_error($curl);
        }
        curl_close($curl);
        if($returnCookie){
            list($header, $body) = explode("\r\n\r\n", $data, 2);
            preg_match_all("/Set\-Cookie:([^;]*);/", $header, $matches);
            $info['cookie']  = substr($matches[1][0], 1);
            $info['content'] = $body;
            return $info;
        }else{
            return $data;
        }

}

//初始化
    $curl = curl_init();
    //设置抓取的url
    curl_setopt($curl, CURLOPT_URL, 'http://www.baidu.com');
    //设置头文件的信息作为数据流输出
    curl_setopt($curl, CURLOPT_HEADER, 1);
    //设置获取的信息以文件流的形式返回，而不是直接输出。
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
    //设置post方式提交
    curl_setopt($curl, CURLOPT_POST, 1);
    //设置post数据
    $post_data = array(
        "username" => "coder",
        "password" => "12345"
        );
    curl_setopt($curl, CURLOPT_POSTFIELDS, $post_data);
    //执行命令
    $data = curl_exec($curl);
    //关闭URL请求
    curl_close($curl);
    //显示获得的数据

    print_r($data);

封装：

<?PHP

    /**
     * CURL请求
     * @param $url 请求url地址
     * @param $method 请求方法 get post
     * @param null $postfields post数据数组
     * @param array $headers 请求header信息
     * @param bool|false $debug  调试开启 默认false
     * @return mixed
     */
    function httpRequest($url, $method = "GET", $postfields = [], $headers = array(), $debug = false) {
        $method = strtoupper($method);
        $ci = curl_init();
        /* Curl settings */
        curl_setopt($ci, CURLOPT_HTTP_VERSION, CURL_HTTP_VERSION_1_0);
        curl_setopt($ci, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.2; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0");
        curl_setopt($ci, CURLOPT_CONNECTTIMEOUT, 60); /* 在发起连接前等待的时间，如果设置为0，则无限等待 */
        curl_setopt($ci, CURLOPT_TIMEOUT, 7); /* 设置cURL允许执行的最长秒数 */
        curl_setopt($ci, CURLOPT_RETURNTRANSFER, true);
        switch ($method) {
            case "POST":
                curl_setopt($ci, CURLOPT_POST, true);
                if (!empty($postfields)) {
                    $tmpdatastr = is_array($postfields) ? http_build_query($postfields) : $postfields;
                    curl_setopt($ci, CURLOPT_POSTFIELDS, $tmpdatastr);
                }
                if (empty($headers)) {
                    $postfields = is_array($postfields) ? json_encode($postfields) : $postfields;
                    $headers = [
                        'Content-Type: application/json',
                        'Content-Length: ' . strlen($postfields),
                    ];
                }
                break;
            case "GET":
                $params = "";
                foreach ($postfields as $k => $v) {
                    $params .= $k . "=" . urlencode($v) . "&";
                }
                $params = trim($params, '&');
                $url = $url . '?' . $params;
                $this->data_log($url, 'get_http.log');
                break;
            case 'GANK':
                //抓取不需要使用方法
                break;
            default:
                curl_setopt($ci, CURLOPT_CUSTOMREQUEST, $method); /* //设置请求方式 */
                break;
        }
        $ssl = preg_match('/^https:\/\//i', $url) ? TRUE : FALSE;
        curl_setopt($ci, CURLOPT_URL, $url);
        if ($ssl) {
            curl_setopt($ci, CURLOPT_SSL_VERIFYPEER, FALSE); // https请求 不验证证书和hosts
            curl_setopt($ci, CURLOPT_SSL_VERIFYHOST, FALSE); // 不从证书中检查SSL加密算法是否存在
        }
        //curl_setopt($ci, CURLOPT_HEADER, true); /*启用时会将头文件的信息作为数据流输出*/
        curl_setopt($ci, CURLOPT_FOLLOWLOCATION, 1);
        curl_setopt($ci, CURLOPT_MAXREDIRS, 2); /* 指定最多的HTTP重定向的数量，这个选项是和CURLOPT_FOLLOWLOCATION一起使用的 */
        curl_setopt($ci, CURLOPT_HTTPHEADER, $headers);
        curl_setopt($ci, CURLINFO_HEADER_OUT, true);
        curl_setopt($ci, CURLOPT_FORBID_REUSE, 1);
        curl_setopt($ci, CURLOPT_FRESH_CONNECT, 1);

        /* curl_setopt($ci, CURLOPT_COOKIE, $Cookiestr); * *COOKIE带过去** */
        //丢包保护
        for ($i = 0; $i < 10; $i++) {
            $response = curl_exec($ci);
            $curl_info = curl_getinfo($ci);
            if (curl_errno($ci)) {
                continue;
            } else if ($curl_info['http_code'] !== 200) {
                continue;
            } else if (empty($response)) {
                continue;
            }
            break;
        }
        curl_close($ci);
        return $response;
        //return array($http_code, $response,$requestinfo);
    }


    /**
     * 任务挂起
     * //参数1：访问的URL，参数2：响应超时时间 毫秒
     */
    function curl_request($url = "http://www.baidu.com", $ms = 100) {
        $curl = curl_init(); //初始化
        curl_setopt($curl, CURLOPT_URL, $url); //设置抓取的url
        curl_setopt($curl, CURLOPT_NOSIGNAL, 1); //注意，毫秒超时一定要设置这个
        curl_setopt($curl, CURLOPT_TIMEOUT_MS, $ms); //超时毫秒，cURL 7.16.2中被加入。从PHP 5.2.3起可使用
//        curl_setopt($curl, CURLOPT_TIMEOUT, $s);//超时时间 秒
//        curl_setopt($curl, CURLOPT_HEADER, 1);//设置头文件的信息作为数据流输出
        curl_setopt($curl, CURLOPT_FORBID_REUSE, 1);
        curl_setopt($curl, CURLOPT_FRESH_CONNECT, 1);
        curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); //设置获取的信息以文件流的形式返回，而不是直接输出。
        $data=curl_exec($curl);
//        //丢包保护
//        for ($i = 0; $i < 10; $i++) {
//            $data = curl_exec($curl);
//            $curl_info = curl_getinfo($curl);
//            if (curl_errno($curl)) {
//                continue;
//            } else if ($curl_info['http_code'] !== 200) {
//                continue;
//            } else if (empty($data)) {
//                continue;
//            }
//            break;
//        }
        curl_close($curl); //关闭URL请求
        //显示获得的数据
        return $data;
    }

//模拟from表单提交
function form_post($url,$param) {
    $delimiter = uniqid();
    $post_data = buildData($param,$delimiter);
    $curl = curl_init($url);
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($curl, CURLOPT_POST, true);
    curl_setopt($curl, CURLOPT_POSTFIELDS, $post_data);
    curl_setopt($curl, CURLOPT_HTTPHEADER, [
    "Content-Type: multipart/form-data; boundary=" . $delimiter,
    "Content-Length: " . strlen($post_data)
    ]);
    $response = curl_exec($curl);
    curl_close($curl);
    return $response;
}
 
//编译请求头格式和数据流
function buildData($param,$delimiter){
    $data = '';
    $eol = "\r\n";
    foreach ($param as $name => $content) {
        $data .= "--" . $delimiter . "\r\n". 'Content-Disposition: form-data; name="' . $name . "\"\r\n\r\n". $content . "\r\n";
    }
    $data .= "--" . $delimiter . $eol. 'Content-Disposition: form-data; name="media"; "' . "\r\n". 'Content-Type:application/octet-stream'."\r\n\r\n";
    $data .= "--" . $delimiter . "--\r\n";
    return $data;
}

?>

原文链接地址

https://www.cnblogs.com/CHEUNGKAMING/p/5717429.html

Purgatory001
关注
专栏目录
php之cURL学习笔记2
后端开发
05-27 238
//1、初始化一个cURL会话$ch = curl_init();//2、设置选项，包括URLcurl_setopt($ch,CURLOPT_URL,'http://www.php.net');curl_setopt($ch,CURLOPT_RETURNTRANSFER,1); // 将 curl_exec() 获取的信息以文件流的形式返回， // 而不是直接输出。 cur
php curl批量请求url
02-26
首先，批量请求URL通常是为了提高效率，例如在数据抓取、接口测试或自动化任务中。批量请求的关键在于创建一个循环，依次对每个URL执行cURL操作。以下是一个简单的`batch.php`示例，展示了如何使用cURL批量请求URL：...
curl_setopt()参数大全
hddygs001的专栏
03-29 1580
CURLOPT_AUTOREFERER自动设置header中的referer信息CURLOPT_BINARYTRANSFER在启用CURLOPT_RETURNTRANSFER时候将获取数据返回CURLOPT_COOKIESESSION启用时curl会仅仅传递一个session cookie，忽略其他的cookie，默认状况下curl会将所有的cookie返回给服务端。ses
PHP中CURL方法curl_setopt()函数的参数
Light_zhao的博客
07-15 1076
PHP CURL curl_setopt 参数 boolcurl_setopt(int ch, string option, mixed value) curl_setopt()函数将为一个CURL会话设置选项。option参数是你想要的设置，value是这个选项给定的值。 下列选项的值将被作为长整形使用(在option参数中指定)： ? CURLOPT_INFILESIZE : 当你上传一个文件到远程站点，这个选项告诉PHP你上传文件的大小。 ? CURLOPT_VERBOSE...
php利用curl提交数据（POST提交）
zhangzeshan
03-15 1万+
思路就是：先把要提交的数据组织起来，然后在调用post的方法 先贴上post的方法： function request_post($url = '', $param = '') { if (empty($url) || empty($param)) { return false; } $postUrl = $url; $curlPost = ...
PHP的curl有三种Post请求数据的方式
m0_69254007的博客
06-30 7088
今天要讲的HTTP请求头的Content-Type字段，就是在curl发送post请求的时候需要指定以何种方式来请求数据，常用的有3类：就是 multipart/form-data 使用表单的方式来发送数据 是curl采用的默认发送方式。请求数组类型的格式。就是 application/x-www-form-urlencoded 把请求的内容转变成url参数的形式进行发送，如：s1=red&s2=blue，这是标准的编码格式，但在curl中却不是默认的发送方式。
php curl请求接口并获取数据的示例代码
10-19
然后执行请求，关闭cURL会话，并返回响应数据。 `curl_post`方法则用于发送POST请求。除了基本的cURL配置外，它还设置了POST标志，并传递了POST数据。`$array`参数是你要发送的数据，通常是一个关联数组，键值对...
curl2axios:一个将curl请求转换为Node.js axios请求的小实用程序
05-05
curl2axios的优势在于，它不仅支持基本的GET、POST请求，还能够处理复杂的HTTP操作，如PUT、DELETE、PATCH等，以及包括HTTP头、查询参数、POST数据在内的各种选项。此外，它还能处理多部分上传、URL编码等问题，为...
Qt工程中加入curl用于发送Post请求Get请求，数据为json格式
06-11
qt工程中引入编译好的curl库，封装了一个类来执行post请求 可以直接拿来改造。 数据格式为json格式
CURL 使用与调试
LILAIQUN博客
05-06 3970
cURL是利用URL语法规定传输文件和数据的工具，支持很多协议，如HTTP、TCP、Telnet等。cURL是一个通用的库，并非PHP独有。其实，很多功能用file、socket系列函数就可以实现。不过用cURL功能更全面，实现一些复杂的操作更加简单，比如处理Cookie、验证、表单提交、文件上传等。 PHP中建立cURL的基本步骤： 初始化 设置选项，包括URL 执行并获取HTML文档...
CURL函数设置curl_setopt()的详细解释及demo
凌云客
05-27 7461
bool curl_setopt (int ch, string option, mixed value) curl_setopt()函数将为一个CURL会话设置选项。 option参数是你想要的设置，value是这个选项给定的值。下列选项的值将被作为长整形使用(在option参数中指定)： • CURLOPT_INFILESIZE : 当你上传一个文件到远程站点，这个选项告诉PHP你上传文件
curl_setopt 函数
yzl_007的博客
10-17 3528
curl_setopt 函数 php curl_setopt函数的作用是为一个CURL会话设置选项，其语法是“curl_setopt (int ch, string option, mixed value)”，参数“option”表示想要的设置。 三个参数分别的作用 ch 由 curl_init() 返回的 cURL 句柄。 option 需要设置的CURLOPT_XXX选项。 value 将设置在option选项上的值。 下面先看一个示例 //来源菜鸟教程,初始化一个新的cURL会话并获取一个网页 &lt
php curl 默认超时时间的问题
热门推荐
cominglately的博客
04-09 2万+
场景 curl调用一个接口,在代码没有后任何设置的情况下,我的环境是60秒，最后拿到的数据是null, 1. 这种情况肯定不要针对处理, 代码内部的逻辑是redis队列， 所以对数据进行处理下，重新入队就好了; 2. 但是也是对curl 超时进行设置，将它控制起来 分析 PHP官网的解释是主要是两个选项,而且没有默认值 . CURLOPT_CONNECTTIMEOUT 在尝试连接时...
php中cURL会话的curl_setopt的CURLOPT_HEADER和CURLOPT_RETURNTRANSFER参数的使用
lx8486的博客
11-18 1万+
最近开始学php，学习cURL会话的时候，对curl_setopt中的CURLOPT_HEADER和CURLOPT_RETURNTRANSFER参数不是很理解，查看了php官方文档还有各种资料，总算明白。 PHP curl_setopt函数 curl_setopt — 设置一个cURL传输选项。 说明 bool curl_setopt ( resource $ch , int $option ,...
curl php curlopt_useragent,curl采集设置CURLOPT_FOLLOWLOCATION不起作用的解决办法
weixin_29533443的博客
03-18 1517
curl采集设置CURLOPT_FOLLOWLOCATION不起作用的解决办法curl抓取页面时，如果页面会发生301，302跳转，则需要对curl进行参数设置。curl_setopt($ch, CURLOPT_MAXREDIRS,20);curl_setopt($ch, CURLOPT_FOLLOWLOCATION,1);01curl_setopt($ch,CURLOPT_MAXREDIRS,2...
如何调试curl
weixin_30609287的博客
12-03 214
显示curl的错误信息。 主要用一下三个函数进行错误信息调试 var_dump(curl_error($ch)); curl_multi_getcontent($ch )是字符串类型！ curl_errno($ch);显示错误号 症状：php curl调用https出错 排查方法：在命令行中使用curl调用试试。 原因：服务器所在机房无法验证SSL证书。 解决办法：...
php file_get_contents伪造user_agent curl设置
打杂人
09-02 1万+
php程序提供的两个函数file_get_contents 和 curl,在抓取远程内容或模拟浏览器访问的时候相当有用。不过一些网站出于安全等考虑会根据来访ip是否携带user_agent信息来判断是正常的浏览器客户端还是机器，如果是机器则拒绝访问。所以,我们的就需要对file_get_contents和curl伪造user_agent。下面给大家详解一下如何file_get_contents伪造
curl 请求乱码问题
最新发布
05-10
如果您遇到了CURL请求乱码问题，可以尝试以下解决方法： 1. 确保客户端和服务器端使用相同的编码格式； 2. 在CURL请求中设置正确的HTTP头部信息； 3. 如果仍然存在问题，请检查服务器返回的响应是否正确编码，并尝试...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值