今天尝试了一下用php拉取头条文章内容,但并不是那么顺利,整体分成三个步骤。
首先,如果我们直接请求文章内容,以postman举例,它会返回如下一段Javascript代码:
分析下上面这段代码就知道,它从cookie中获取__ac_nonce这个值,然后用acrawler.js文件中的方法加密成一串__ac_signature,这些都可以理解,没有问题。
有个疑问:__ac_nonce是怎么来的??
继续看刚才用post请求的响应信息,我发现这个值是通过头条响应头带过来的。
尝试不断请求,是否每次头条都会响应__ac_nonce值,于是我尝试写了如下一个demo脚本:
$ch = curl_init();
$headers = [
'user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36',
];
curl_setopt($ch, CURLOPT_URL, 'https://www.toutiao.com/a6846918379043815950');
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
curl_setopt($ch, CURLOPT_HEADER, true);
curl_setopt($ch, CURLOPT_CUSTOMREQUEST, "GET");
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 0);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_TIMEOUT, 3);
$rs = curl_exec($ch);
// 查看具体返回值
var_dump($rs, curl_error($ch));
// 响应头中匹配cookie部分,为了获取__ac_nonce值
preg_match_all('/^Set-Cookie:\s*([^;]*)/mi', $rs, $matches);
$cookies = [];
$nonce = "";
foreach($matches[1] as $item) {
parse_str($item, $cookie);
$cookies = array_merge($cookies, $cookie);
}
if (! empty($cookies['__ac_nonce'])) {
$nonce = $cookies['__ac_nonce'];
}
echo 'ac_nonce: ' . $nonce . PHP_EOL;
很遗憾,结果极度不稳定:
bool(false)
string(67) "Operation timed out after 2540 milliseconds with 682 bytes received"
但还是有部分请求给我重新分配了__ac_nonce值,只是没有的情况比较多,这是什么问题?
附言
拿到__ac_nonce配合nodejs生成__ac_signature我最后在拉取详情的时候把请求头带上cookie成功的拉到了头条内容, 如下:
// ...
$headers = [
'user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36',
'cookie: __ac_nonce=xxx;__ac_signature=xxx;',
];
// ...
所以,问题是:什么是__ac_nonce?怎么100%稳定得到它的值?