使用phpspider爬虫

使用python爬虫固然很方便，但是发现php在这方便也不弱；使用框架爬虫真的要高效许多。

1,先看下phpspider的结构

2，举例子：比如我爬取南昌新闻网的一个分类

这个注释要加上，不然报错，可以看看源码，源码里面有很多方法；

3,然后是配置下爬虫:

4,然后将配置文件放入框架类文件，实例化：

这里的 on_scan_page 是爬取的入口url，这些URL跟我配置的 content_url_regxes 正则规则匹配，所以在后面的爬取过程中，会爬取到这几个页面的数据

5,对匹配后的字段field进行回调处理：

6,进行爬取数据入库处理  ， 跑起来

以上只是一个简单的例子，还可以进行多进程爬取，代理爬虫，很多好玩的