thinkphp5 + beanbun 爬取电影网址 、图片（简单）

先创建两个数据表分别存储第一级url表和这个url下面的图片表
dy2018网站网址：传送门

数据表

think_dy2018表

CREATE TABLE `think_dy2018` (
  `id` int(7) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键id',
  `movieName` varchar(255) NOT NULL COMMENT '电影名',
  `movieUrl` varchar(520) NOT NULL COMMENT '电影详情页地址',
  `addTime` int(11) NOT NULL COMMENT '添加时间',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=8808 DEFAULT CHARSET=utf8 COMMENT='dy2018电影网站信息采集'

think_dy2018imgs表

CREATE TABLE `think_dy2018imgs` (
  `id` int(8) unsigned NOT NULL AUTO_INCREMENT COMMENT '图片id',
  `urlID` int(7) NOT NULL COMMENT '关联的电影ID',
  `imgUrl` varchar(520) DEFAULT NULL COMMENT '图片地址',
  `create_time` int(10) NOT NULL COMMENT '图片添加时间',
  PRIMARY KEY (`id`),
  KEY `urlID` (`urlID`)
) ENGINE=InnoDB AUTO_INCREMENT=1279 DEFAULT CHARSET=utf8 COMMENT='dy2018图片地址'

接下来通过thinkphp5来写，首先还得安装扩展 传送门: Beanbun，然后对 传送门: dy2018 进行分析，使用Beanbun抓取页面后，用正则筛选出自己想要的 movieName、movieUrl。

thinkphp5代码

1、执行 getList（）可以获得一级页面movieName、movieUrl
2、执行 getImage（）可以获得一级页面每一条电影url下面详细信息的大图

<?php
/*
 +-------------------------------------------------------------------------------------------
 + Title        : 爬虫控制器
 + Version      : V1.0.0.2
 + Initial-Time : 2018/3/27 + sgw
 + Last-time    : 2018/3/27 + sgw
 + Desc         : 爬取dy2018电影信息
 +-------------------------------------------------------------------------------------------
*/
namespace app\index\controller;
use \Beanbun\Beanbun;
use Beanbun\Lib\Helper;
use \GuzzleHttp\Client;
use \think\Controller;
use \think\Db;

class Robot extends Controller{
    /**
     * 抓取 一级页面信息
     */
    public function getList(){
        $beanbun = new Beanbun;
        $urlList = ['http://www.ygdy8.net/html/gndy/dyzz/index.html'];
        for($i=2;$i<=173;$i++ ){ //查看该网站对应信息，共有173页
            $urlList[] = 'http://www.ygdy8.net/html/gndy/dyzz/list_23_'.$i.'.html';
        }

        $beanbun->seed = $urlList;
        $beanbun->afterDownloadPage = function($beanbun) {
            if (strlen($temp = $beanbun->page) < 100) {
                $beanbun->error();
            }

            # 对抓取内容转码
            $contents = mb_convert_encoding($temp, 'utf8' ,'gb2312');
            file_put_contents('66.html', $contents);
            $patter = '/<td height="26">\s*<b>\s*<a href="(.+)".*>(.*)<\/a>\s*<\/b>/sU';
            preg_match_all($patter, $contents, $m);//筛选页面路径url
            # 对抓取的数据分析插入数据库
            if($m[0]){
                $hrefs  = $m[1];
                $titles = $m[2];

                foreach ($hrefs as $key => $href){
                   $url =  Helper::formatUrl($href, $beanbun->url);
                   $data[] = [
                        'movieName' => strip_tags($titles[$key]),
                        'movieUrl'  => $url,
                        'addTime'   => time()
                    ];
                }

                Db::name('dy2018')->insertAll($data);//暂未做数据处理
            }
        };

        # 抓取页面之后回调
        $beanbun->start();
    }

    /**
     * 抓取 改url下面相信信息的imges (例如：http://www.ygdy8.net/html/gndy/dyzz/20180322/56529.html)
     * 查询think_dy2018的数据表中id，movieUrl。然后根据movieUrl爷们内容爬取图片（注意这里图片可能有多张，所以用循环对应同一个movieUrl的urlID）
     *
    */
    public function getImage(){
        # 返回bool
        $result = Db::table('think_dy2018')->column('id,movieUrl');
        foreach ($result as $key => $value){
            $result = $this->https_request($value);
            $pattern = '/<img border="0"\s+src="(.+)".*>/sU';
            preg_match_all($pattern,$result,$m);//筛选出对应图片url

            if ($m[0]) {
                $imgs = $m[1];
                foreach ($imgs as $k=> $v) {
                    $data = [
                        'imgUrl' => $v,
                        'urlID'  => $key,
                        'create_time' => time(),
                    ];
                    Db::name('dy2018imgs')->insert($data);
                }
            }
        }
    }

    /**
     * cURL万能函数
     * @param [string] $url [请求地址]
     * @param [arra] $data  [post的数据]
     * @return mixed
     */
    private static function https_request($url, $data = null){
        # 初始化一个cURL会话
        $curl = curl_init();

        //设置请求选项, 包括具体的url
        curl_setopt($curl, CURLOPT_URL, $url);
        curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, FALSE);  //禁用后cURL将终止从服务端进行验证
        curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, FALSE);

        if (!empty($data)){
            curl_setopt($curl, CURLOPT_POST, 1);  //设置为post请求类型
            curl_setopt($curl, CURLOPT_POSTFIELDS, $data);  //设置具体的post数据
        }

        curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
        $response = curl_exec($curl);  //执行一个cURL会话并且获取相关回复
        curl_close($curl);  //释放cURL句柄,关闭一个cURL会话

        return $response;
    }

}

有空再把该内容完善！