使用Snoopy进行模拟登陆、采集

Snoopy是一个使用PHP写的采集类,使用了一下发现功能比较强大,几乎可以模拟浏览器的所有行为,可以实现的功能有:

比起使用curl,fsockopen等函数来说方便很多,下面总结一下这个类一些属性与方法的作用。

方法:

    fetch($url) 该方法用于抓取网页内容,类似于file_get_contents
    submit($posturl,$params,$files) 该方法提交表单数据,第二个参数是一个一维数组,例如array('user'=>'zhangsan','pwd'=>'lisi'),第 三个参数是可选参数,上传文件时用到,例如array('myfile' => './images/test.jpg')
    fetchlinks($url) 该方法用于获取网页所有链接
    fetchform($url) 该方法用于获取网页上的form表单内容
    fetchtext($url) 该方法用户获取不带标签的网页内容
    submitlinks($posturl,$params) 该方法提交表单数据参数与submit方法相同,不同点是获取到的结果数据是链接
    submittext($posturl,$params) 该方法提交表单数据参数与submit方法相同,不同点是获取到的结果数据是文本数据
    set_submit_multipart() 该方法没有参数,文件上传时有效类似于设置表单中的enctype="multipart/form-data"
    set_submit_normal() 该方法没有参数,相当于设置一个普通表单,不可用户文件
    setcookies() 该方法没有参数,保存响应cookie信息 用于下一次请求

常用属性:

    $obj->agent = 'Mozilla/5.0 (Windows; U; Windows NT 6.1; zh-CN; rv:1.9.2.25) Gecko/20111212 Firefox/3.6.25';//伪装浏览器
    $obj->rawheaders['Cookie'] = 'username=zhangsan;password=123456';//伪装cookie不能与$obj->cookies同时使用
    $obj->rawheaders['X_FORWARDED_FOR'] = '115.47.134.108'; //伪造IP
    $obj->referer = 'http://www.com133.com/'; //伪造来源地址
    $obj->cookies['test'] = 'zhangsan'; //伪装cookie 不能与$obj->rawheaders['Cookie']同时使用
    $obj->results 获取采集结果

    下面给出示例代码供参考

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值