PHP 抓取函数

1、PHP抓取通过curl()可以采集别人网站的数据，前提不违法。
2、通过curl()获取接口的数据。
—————————————以上是curl()方法的两种用途—————————————————
3、PHP写的接口,第三方接口（如：天气接口）,或者其他语言写的。
4、我们PHP想使用这些接口怎么办呢？
那就需要curl方法，就算你获取别人的接口（请求别人的网络），就需要用curl这个请求。
5、支付宝、微信，他们是提供接口的，比如：支付接口，登入接口。怎么访问？
curl是非常常用的，而且用处非常的广。
现在 APP 小程序 如果想要获取接口数据的话，域名必须是HTTPS的

<?php
// 1、PHP抓取可以采集别人网站的数据，前提不违法
// 2、用过curl，获取接口的数据
// 3、PHP写的接口,第三方接口（如：天气接口）,或者其他语言写的。
// 4、我们PHP想使用这些接口怎么办呢？
// 那就需要curl方法，就算你获取别人的接口（请求别人的网络），就需要用curl这个请求。
// 5、支付宝、微信，他们是提供接口的，比如：支付接口，登入接口。怎么访问？
// curl是非常常用的，而且用处非常的广。
// 现在 APP 小程序 如果想要获取接口数据的话，域名必须是HTTPS的

// 抓取一般都一个字符集
header("Content-Type: text/html;charset=utf8");

// 我们要抓取的页面，url可以是文件，可以是pc页面，也可以是接口
$url = 'https://mat1.gtimg.com/pingjs/ext2020/configF2017/5a9cf828.js';
// $url = 'http://news.cctv.com';
// $url = 'https://pacaio.match.qq.com/irs/rcd?cid=146&token=49cbb2154853ef1a74ff4e53723372ce&ext=ent&page=2';

// PHP抓取写好以后都是通用的

$ch = curl_init(); // 创建一个新cURL资源

// 第一个参数是句柄 ，第二个参数叫常量，每一个常量代表一个功能
curl_setopt($ch, CURLOPT_URL, $url); // 设置URL

// 为了防止URL是假的
curl_setopt($ch, CURLOPT_TIMEOUT, 30); // 设置超时限制防止死循环

// 抓取时页面与我们设置的URL不同，是否抓取
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); // 爬取重定向页面

curl_setopt($ch, CURLOPT_AUTOREFERER, 1); // 自动设置Referer，防止盗链

//  1、post请求，0:get请求
curl_setopt($ch, CURLOPT_POST, 1); // 发送一个常规的Post请求

//  $data：请求别人的接口需要的的一些参数，是一个数组   与我们接收前端以post方式提交过来的数据是一个反向过程
curl_setopt($ch, CURLOPT_POSTFIELDS, $data); // Post提交的数据包

//
curl_setopt($ch, CURLOPT_HEADER, 0); // 显示返回的Header区域内容

//
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // 要求结果保存到字符串中还是输出到屏幕上

// 禁用SSL证书的验证，就可以解决HTPPS获取不到的问题
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0); // 对认证证书来源的检查
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 0); // 从证书中检查SSL加密算法是否存在
curl_setopt($ch, CURLOPT_HTTP_VERSION, CURL_HTTP_VERSION_1_1); // 默认值，让 cURL 自己判断使用哪个版本。 (强制使用 HTTP/1.1)。
curl_setopt($ch, CURLOPT_USERAGENT, 'Data'); // 在HTTP请求中包含一个"User-Agent: "头的字符串。

$html = curl_exec($ch); // 运行cURL，请求URL，把结果复制给变量
if (curl_errno($ch)) {
	echo 'Errno' . curl_error($curl); //捕抓异常
}
curl_close($ch); // 关闭cURL连接
print_r($html);

?>