*使用phpspider -- PHP蜘蛛爬虫框架来爬取数据

源码下载地址：https://github.com/owner888/phpspider

文档：https://doc.phpspider.org/

我的环境是宝塔lnmp，php是5.4版本，不要用这个版本，缺各种扩展库

错误1：没有该扩展，不需要再php.ini中配置

错误2：缺这个扩展库，不需要再php.ini中配置

跑跑的报这个错：PHP Fatal error:  Call to undefined function phpspider\core\mb_detect_encoding() in /www/wwwroot/wx.xiyang66.top/vendor/owner888/phpspider/core/requests.php on line 474

解决方法：执行 yum install php-mbstring -y

1、在linux上跑demo。

条件：linux上要有php环境，代码上传上去，执行php -f demo.php

想退出这个页面执行quit 或 ctrl + c

你可能会疑惑，这要跑，爬来的数据放到哪里了呢？？

2、需要在$configs中加这俩个配置（参考文档configs详解之成员）：

//日志存放的位置
'log_file' => './data/qiushibaike.log',

'export' => array(
    'type' => 'csv',
    'file' => './data/qiushibaike.csv', //爬下来的数据放在data目录下，目录和文件要自己提前创建好
)

这里是存成了csv需要下载到本地电脑上看，因为这是个excel还是下载下来方便看

当然你也可以存到数据库等

3、下面是一个完整的实例：

3.1、思路 ：具体还是要看代码，思路只是方便理解和记忆

www.ncnews.com.cn //这个页面是网站首页

http://www.ncnews.com.cn/xwzx/ncxw/twnc/  //这个页面是列表页

http://www.n