03-接口抓取

一、API 接口

• 应用程序接口（API），又称为应用编程接口，是软件系统不同组成部分衔接的约定
• API 的一个主要功能是提供通用功能集。程序员通过使用 API 函数开发应用程序，从而可以避免编写无用程序，以减轻编程任务
• API 返回值常用 json 格式

---

二、什么是json

JSON 是一种数据格式，并不是编程语言

• JSON 都是被包裹在一个大括号中 {}，通过 key-value 的方式来表达数据。JSON 的 Key 必须包裹在一个双引号中，在实践中，编写 JSON 的时候，忘了给 Key 值加双引号或者是把双引号写成单引号是常见错误。

• JSON 的值只能是以下几种数据格式，其他任何格式都会触发报错。

  • 1, 数字，包含浮点数和整数
  • 2, 字符串，需要包裹在双引号中
  • 3, Bool 值，true 或者 false
  • 4, 数组，需要包裹在方括号中 []
  • 5, 对象，需要包裹在大括号中 {}
  • 6, Null

---

三、抓取接口数据

• 我们尽可能找到接口，从接口获取数据更方便

1、第三方接口

• 腾讯开发平台：open.tencent.com
• 阿里巴巴开放平台：open.1688.com
• 百度开放平台：lbsyun.baidu.com
• 聚合数据：www.juhe.cn

2、百度示例：地点检索服务

• key：u9WcDUIQLqFX3D8vNfN3hvAFiXGYueAv
• 文档：地点检索 | 百度地图API SDK
• 接口：http://api.map.baidu.com/place/v2/search?query=ATM机&region=合肥&output=json&ak=u9WcDUIQLqFX3D8vNfN3hvAFiXGYueAv&scope=2&page_size=20&page_num=1

header("Content-Type:text/html;charset=utf8");
$url = 'http://api.map.baidu.com/place/v2/search?query=ATM机&region=合肥&output=json&ak=u9WcDUIQLqFX3D8vNfN3hvAFiXGYueAv&scope=2&page_size=20&page_num=1';

$ch = curl_init();                          // 创建一个新cURL资源
curl_setopt($ch, CURLOPT_URL,$url);         // 设置URL
curl_setopt($ch, CURLOPT_TIMEOUT, 30);      // 设置超时限制防止死循环
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);// 爬取重定向页面
curl_setopt($ch, CURLOPT_AUTOREFERER, 1);   // 自动设置Referer，防止盗链
curl_setopt($ch, CURLOPT_HEADER, 0);        // 显示返回的Header区域内容
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);// 要求结果保存到字符串中还是输出到屏幕上
curl_setopt($ch, CURLOPT_USERAGENT, 'Data');// 在HTTP请求中包含一个"User-Agent: "头的字符串。

$html = curl_exec($ch);                     // 运行cURL，请求URL，把结果复制给变量
if(curl_errno($ch)){
  echo 'Errno'.curl_error($curl);         //捕抓异常
}
curl_close($ch);                            // 关闭cURL连接
print_r($html);

3、聚合数据示例：天气预报

• key：abc4b64ae7656b460723402175a5650b
• 文档：天气预报-天气预报API接口-免费API接口-聚合数据
• 接口：

  header("Content-Type:text/html;charset=utf8");
  $url = 'http://apis.juhe.cn/simpleWeather/query';
  
  $ch = curl_init();                          // 创建一个新cURL资源
  curl_setopt($ch, CURLOPT_URL,$url);         // 设置URL
  curl_setopt($ch, CURLOPT_TIMEOUT, 30);      // 设置超时限制防止死循环
  curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);// 爬取重定向页面
  curl_setopt($ch, CURLOPT_AUTOREFERER, 1);   // 自动设置Referer，防止盗链
  curl_setopt($ch, CURLOPT_HEADER, 0);        // 显示返回的Header区域内容
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);// 要求结果保存到字符串中还是输出到屏幕上
  curl_setopt($ch, CURLOPT_USERAGENT, 'Data');// 在HTTP请求中包含一个"User-Agent: "头的字符串。
  
  $data = [
    'key' => 'abc4b64ae7656b460723402175a5650b',
    'city' => '合肥',
  ];
  curl_setopt($ch, CURLOPT_POST, 1);          // 发送一个常规的Post请求
  curl_setopt($ch, CURLOPT_POSTFIELDS, $data);// Post提交的数据包
  
  $html = curl_exec($ch);                     // 运行cURL，请求URL，把结果复制给变量
  if(curl_errno($ch)){
    echo 'Errno'.curl_error($curl);         //捕抓异常
  }
  curl_close($ch);                            // 关闭cURL连接
  print_r($html);

---

四、Postman 测试工具

• Postman 是用于 API 开发的协作平台。Postman 的功能简化了构建 API 的每个步骤并简化了协作，因此您可以更快地创建更好的 API
• 下载地址：Postman