使用phpspider爬虫

使用python爬虫固然很方便,但是发现php在这方便也不弱;使用框架爬虫真的要高效许多。

1,先看下phpspider的结构


2,举例子:比如我爬取南昌新闻网的一个分类


这个注释要加上,不然报错,可以看看源码,源码里面有很多方法;

3,然后是配置下爬虫:



4,然后将配置文件放入框架类文件,实例化:

这里的 on_scan_page 是爬取的入口url,这些URL跟我配置的 content_url_regxes 正则规则匹配,所以在后面的爬取过程中,会爬取到这几个页面的数据


5,对匹配后的字段field进行回调处理:


6,进行爬取数据入库处理  , 跑起来


以上只是一个简单的例子,还可以进行多进程爬取,代理爬虫,很多好玩的

阅读更多
个人分类: 爬虫
想对作者说点什么? 我来说一句

php spider shell最新版(已去后门)

2011年03月17日 50KB 下载

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭