爬虫
_sleeping
这个作者很懒,什么都没留下…
展开
-
phpquery抓取网站内容简单介绍
经常会需要抓取别人网站的内容,但直接抓取整个页面的数据总是用使用正则进行匹配过滤,对于正则不熟悉的人挺头疼的, 而使用phpquery使抓取变得简单很多,只要对jquery有了解,就可以轻松的使用类似jq的方式抓取网站的内容 下面简单介绍下phpquery使用,以及我在使用中遇到过的一些问题 首先,下载phpquery,可以直接到phpquery官网下载, 我个人上传了一个到百度云,...原创 2018-05-02 23:40:11 · 1410 阅读 · 0 评论 -
php模拟用户登录抓取网站数据
做内容网站经常需要抓取其他网站数据,此时需要模拟网站登录,下面以抓取饭否的数据为例 1.首先通过抓包或者是在网页控制台network查看网站的登录地址和请求参数。 //设置post的数据 $post = array ( 'loginname' => '52102', 'loginpass' => '52102', 'token'=>'b3ad43741'...原创 2018-05-02 15:37:10 · 5726 阅读 · 8 评论 -
php模拟客户端请求,抓取网站或者接口数据
/**模拟客户端请求,抓取网站或者接口数据 以抓取某视频网站的播放地址为例,首先我是通过fiddler抓包找到该视频网站获取数据的接口和请求参数类型的, 但是直接模拟请求提示客户端版本太低,所以我就复制了header请求参数 **/ public function play_link($video_id){ //该网站的接口地址; $url = 'http://...原创 2018-05-02 10:34:21 · 2681 阅读 · 0 评论