autoload.php beanbun_thinkphp5 + beanbun 实现简单抓取电影网址及图片

本文主要为大家分享一篇thinkphp5 + beanbun 实现简单抓取电影网址及图片，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧，希望能帮助到大家。

先创建两个数据表分别存储第一级url表和这个url下面的图片表

dywz数据表CREATE TABLE `think_dy2018` (

`id` int(7) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键id',

`movieName` varchar(255) NOT NULL COMMENT '电影名',

`movieUrl` varchar(520) NOT NULL COMMENT '电影详情页地址',

`addTime` int(11) NOT NULL COMMENT '添加时间', PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=8808 DEFAULT CHARSET=utf8 COMMENT='dywz信息采集'CREATE TABLE `think_dy2018imgs` (

`id` int(8) unsigned NOT NULL AUTO_INCREMENT COMMENT '图片id',

`urlID` int(7) NOT NULL COMMENT '关联的电影ID',

`imgUrl` varchar(520) DEFAULT NULL COMMENT '图片地址',

`create_time` int(10) NOT NULL COMMENT '图片添加时间', PRIMARY KEY (`id`),

KEY `urlID` (`urlID`)

) ENGINE=InnoDB AUTO_INCREMENT=1279 DEFAULT CHARSET=utf8 COMMENT='图片地址'

接下来通过thinkphp5来写，首先还得安装扩展 Beanbun，然后对电影网站 进行分析，使用Beanbun抓取页面后，用正则筛选出自己想要的 movieName、movieUrl。

thinkphp5代码

1、执行 getList()可以获得一级页面movieName、movieUrl

2、执行 getImage()可以获得一级页面每一条电影url下面详细信息的大图<?php

/*

+-------------------------------------------------------------------------------------------

+ Title : 爬虫控制器

+ Version : V1.0.0.2

+ Initial-Time : 2018/3/27 + sgw

+ Last-time : 2018/3/27 + sgw + Desc : 爬取网站电影信息

+-------------------------------------------------------------------------------------------

*/

namespace app\index\controller;

use \Beanbun\Beanbun;

use Beanbun\Lib\Helper;

use \GuzzleHttp\Client;

use \think\Controller;

use \think\Db;

class Robot extends Controller{

/**

* 抓取 一级页面信息

*/

public function getList(){

$beanbun = new Beanbun;

$urlList = ['http://www.ygdy8.net/html/gndy/dyzz/index.html'];

for($i=2;$i<=173;$i++ ){

$urlList[] = 'http://www.ygdy8.net/html/gndy/dyzz/list_23_'.$i.'.html';

}

$beanbun->seed = $urlList;

$beanbun->afterDownloadPage = function($beanbun) {

if (strlen($beanbun->page) < 100) {

$beanbun->error();

}

# 对抓取内容转码

$contents = mb_convert_encoding($beanbun->page,'utf8' ,'gb2312');

file_put_contents('66.html', $contents);

$patter = '/

\s* \s*(.*)\s*/sU';

preg_match_all($patter, $contents, $m);

# 对抓取的数据分析插入数据库

if($m[0]){

$hrefs = $m[1];

$titles = $m[2];

foreach ($hrefs as $key => $href){

$url = Helper::formatUrl($href, $beanbun->url);

$data[] = [

'movieName' => strip_tags($titles[$key]),

'movieUrl' => $url,

'addTime' => time()

];

}

Db::name('dy2018')->insertAll($data);

}

};

# 抓取页面之后回调

$beanbun->start();

}

/**

* 抓取 改url下面相信信息的imges

* 查询数据表中id，movieUrl。然后根据movieUrl爷们内容爬取图片(注意这里图片可能有多张，所以用循环对应同一个movieUrl的urlID)

*

*/

public function getImage(){

# 返回bool

$result = Db::table('think_dywz')->column('id,movieUrl');

foreach ($result as $key => $value){

$result = $this->https_request($value);

$pattern = '//sU';

preg_match_all($pattern,$result,$m);

if ($m[0]) {

$imgs = $m[1];

foreach ($imgs as $k=> $v) {

$data = [

'imgUrl' => $v,

'urlID' => $key,

'create_time' => time(),

];

Db::name('dywzimgs')->insert($data);

}

}

}

}

/**

* cURL万能函数

* @param [string] $url [请求地址]

* @param [arra] $data [post的数据]

* @return mixed

*/

private static function https_request($url, $data = null){

# 初始化一个cURL会话

$curl = curl_init();

//设置请求选项, 包括具体的url

curl_setopt($curl, CURLOPT_URL, $url);

curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, FALSE); //禁用后cURL将终止从服务端进行验证

curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, FALSE);

if (!empty($data)){

curl_setopt($curl, CURLOPT_POST, 1); //设置为post请求类型

curl_setopt($curl, CURLOPT_POSTFIELDS, $data); //设置具体的post数据

}

curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);

$response = curl_exec($curl); //执行一个cURL会话并且获取相关回复

curl_close($curl); //释放cURL句柄,关闭一个cURL会话

return $response;

}

}

这就是完整的代码了，相信聪明的你已经学会了。