今天需要爬某个网站的数据,chrome打开开发者工具顺利的找到API,然后拿出curl大法,走起!
首先,模拟登录,顺利的拿到数据,但是返回的数据让我懵逼了。
在浏览器开发者工具看到的是正常的数据,但是我curl出来的是一堆乱码,“度”他娘很久都没找到答案,最后“谷”他哥第一条就找到解决办法了,唉,所以为了多活几年,还是用谷哥啊。
解决方法很简单,乱码是因为返回的数据被压缩过了,在curl中加上一项参数即可:
curl_setopt($ch, CURLOPT_ENCODING, "");
以前的项目中都是自动解压的,为什么这个没有,等有时间再琢磨琢磨。