基于dede的一个自定义采集器

最新推荐文章于 2021-07-28 14:33:10 发布
最新推荐文章于 2021-07-28 14:33:10 发布
阅读量1.6k 收藏
点赞数
分类专栏： PHP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dab1117/article/details/49952207
版权

搞不懂dede的采集器，有些东西难以满足需求，于是写了这个

<?php

/**
 * 
 * 采集绝想日记网文章
 * @author 秦仙游 <dab1117@163.com>
 * @version 1.0
 * @package suibiwu.com
 */
/* 处理页面最大请求时间为无限 */
set_time_limit(0);
header('Content-Type:text/html;charset=utf8');
require_once("simple_html_dom.php");
require_once("./framework/tool/MySQLDBTool.class.php");
require_once("./framework/tool/ImageTool.class.php");

/* key为需要采集的id号 */
$arr = array();

$arr['24'] = 10196; 
$arr['21'] = 10197; 
$GLOBALS['prefix'] = 'http://www.juexiang.com';

if (count($arr) > 0) {
    foreach ($arr as $key => $value) {
        echo "<h2 style='color:red;'>{$key}分类</h2>";

        $typeid = $key;
        /* 副栏目号 */
        $typeid2 = '';
        $base_url = 'http://www.juexiang.com/list/' . $value;
        for ($i = 6; $i <= 8; $i++) {
            $list_url = $base_url . '?p=' . $i;
            $items = getArcticleList($list_url);
            echo "<h3>第{$i}页</h3>";
            foreach ($items as $k => $v) {
                $id = $v['id'];
                console("获取到id号：$id");
                myFlush();
                sleep(1);
                $obj = getArticle('detail/' . $id);
                console("获取到文档信息：$id");
                $obj['typeid'] = $typeid;
                $obj['typeid2'] = $typeid2;
                sleep(0);
                $info = htmlToText(postToDede($obj)) . "\r\n";
                console("执行结果：$info");
                echo '<hr/>';
                myFlush();
            }
            /* 防盗链设置，虽然可能没有效果 */
            sleep(3);
        }
    }
}

/**
 * 格式化输出
 * @param type $msg
 */
function console($msg) {

    echo "<p style='line-height:20px; font-size:12px; line-height:20px;'>{$msg}</p>";
}

/* 刷新缓存 */

function myFlush() {
    ob_flush();
    flush();
}

/**
 * 获取文章详情
 * @param type $id
 * @return type
 */
function getArticle($id) {

    $obj = pickOne($id);
    $body_without_html = htmlToText($obj['body']);
    $obj['description'] = mb_substr($body_without_html, '0', 150, 'utf8');


    $obj['source'] = '绝想日记网';
    /* 设置文章属性 */
    if (!empty($obj['litpic'])) {
        $obj['flag'] = ',f,p';
    }
    if (rand(1, 3) == 2)
        $obj['flag'] = ',c';
    if (rand(1, 3) == 2)
        $obj['flag'] = ',h';
    if (rand(1, 3) == 2)
        $obj['flag'] = ',s';

    $obj['flag'] = ltrim($flag['flag'], ',');
    $obj['flag'] = explode(',', $flag);
    $obj['keywords'] = '随笔坞';
    $obj['qianbian'] = rand(0, 20);
    $obj['zhichi'] = rand(0, 300);
    $obj['zhaoma'] = rand(0, 70);
    $obj['gaoxiao'] = rand(0, 80);
    $obj['chedan'] = rand(0, 100);
    $obj['bujie'] = rand(0, 200);
    $obj['chijing'] = rand(0, 50);
    $obj['henbang'] = rand(0, 200);
    return $obj;
}

//var_dump($obj);
//echo saveToDatabase($obj) . "\r\n";

function postToDede($obj) {

    /* 构造表单数据 */
    $data = array(
        'channelid' => '1',
        'dopost' => 'save',
        'title' => $obj['title'],
        'shorttitle' => '',
        'redirecturl' => '',
        'tags' => '',
        'weight' => '1',
        'picname' => '',
        'litpic' => '',
        'source' => $obj['source'],
        'writer' => $obj['writer'],
        'typeid' => $obj['typeid'],
        'typeid2' => $obj['typeid2'],
        'keywords' => '',
        'autokey' => '1',
        'desciption' => '',
        'qianbian' => $obj['qianbian'],
        'zhichi' => $obj['zhichi'],
        'zhaoma' => $obj['zhaoma'],
        'gaoxiao' => $obj['gaoxiao'],
        'chedan' => $obj['chedan'],
        'bujie' => $obj['bujie'],
        'chijing' => $obj['chijing'],
        'henbang' => $obj['henbang'],
        'music' => $obj['music'],
        'dede_addonfields' => 'qianbian,int;zhichi,int;zhaoma,int;gaoxiao,int;chedan,int;bujie,int;chijing,int;henbang,int;music,text',
        'remote' => '1',
        'dellink' => '1',
        'autolitpic' => '1',
        'needwatermark' => '1',
        'sptype' => 'hand',
        'spsize' => 'voteid',
        'body' => $obj['body'],
        'voteid' => '',
        'notpost' => '0',
        'click' => $obj['views'],
        'sortup' => '0',
        'color' => '',
        'arcrank' => '',
        'money' => '0',
        'pubdate' => date('Y-m-d H:i:s', $obj['senddate']),
        'ishtml' => '0',
        'filename' => '',
        'templet' => '',
        'imageField.x' => '24',
        'imageField.x' => '14'
    );
    if (isset($obj['flag'])) {
        $index = 0;
        foreach ($obj['flag'] as $key => $value) {
            $data['flag[' . $index . ']'] = $value;
            $index++;
        }
    }
    $url = 'http://sx.cc/administrator/article_add.php';
    $pro = curl_init();
    curl_setopt($pro, CURLOPT_URL, $url);
    curl_setopt($pro, CURLOPT_POST, true);
    curl_setopt($pro, CURLOPT_RETURNTRANSFER, 1);
    /* cookie字符串，需替换成自己的 */
    curl_setopt($pro, CURLOPT_COOKIE, 'menuitems=1_1%2C2_1%2C3_1%2C4_1; Hm_lvt_86f43783acc56b0c8abb5bb039edc763=1447468152; lastCid=12; lastCid__ckMd5=32334e2dceed96e5; PHPSESSID=3i9hfpit8h8gvoho4mbptou1h7; DedeUserID=1; DedeUserID__ckMd5=21656f81551e2194; DedeLoginTime=1447951987; DedeLoginTime__ckMd5=e8b68eb16c46c0a4; dede_vote_2365=1; ENV_GOBACK_URL=%2Fadministrator%2Fcontent_list.php%3Fchannelid%3D1');
    curl_setopt($pro, CURLOPT_REFERER, 'http://sx.cc/administrator/article_add.php?channelid=1&cid=0');
    curl_setopt($pro, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36');
    curl_setopt($pro, CURLOPT_POSTFIELDS, $data);

    $result = curl_exec($pro);
    unset($pro);
    return $result;
}

/**
 * 保存数据库到数据库 不可用，最好的方式还是提交到dede
 * @param array $obj 文章对象
 */
function saveToDatabase($obj) {
    $option = array(
        'host' => 'localhost',
        'port' => '3306',
        'user' => 'root',
        'password' => 'sa123',
        'charset' => 'utf8',
        'database' => 'dedecmsv57utf8sp1',
        'prefix' => 'dede_'
    );
    $db = MySQLDBTool::getInstance($option);
    $sql = "select count(*) from dede_archives where title='{$obj['title']}'";
    $count = $db->executeScalar($sql);
    if ($count > 0)
        return false;
    $sql1 = "INSERT INTO dede_arctiny(typeid,typeid2,arcrank,channel,senddate,sortrank,`mid`) VALUES ('{$obj["typeid"]}','{$obj["typeid2"]}',0,1,'{$obj["senddate"]}','{$obj["sortrank"]}',1)";
    $id = $db->last_insert_id($sql1);
    if ($id > 0) {
        $sql2 = "INSERT INTO dede_archives(id,typeid,typeid2,sortrank,flag,ismake,channel,arcrank,click,money,title,shorttitle,color,writer,source,litpic,"
                . "pubdate,senddate,`mid`,keywords,lastpost,scores,goodpost,badpost,voteid,notpost,description,filename,dutyadmin,tackid,mtype,weight) VALUES"
                . "({$id},'{$obj['typeid']}','{$obj['typeid2']}','{$obj['sortrank']}','{$obj['flag']}','-1','1','0','{$obj['views']}','0','{$obj['title']}','','','{$obj['writer']}',"
                . "'{$obj['source']}','{$obj['litpic']}','{$obj['pubdate']}','{$obj['pubdate']}','1','{$obj['keywords']}','0','0','0','0','0','0','{$obj['description']}','','1','0','0','0')";
        $sql2_r = $db->exec($sql2);

        $sql3 = "INSERT INTO dede_addonarticle(aid,typeid,body,redirecturl,templet,userip,qianbian,zhichi,zhaoma,gaoxiao,chedan,bujie,chijing,henbang,music) VALUES "
                . "({$id},{$obj['typeid']},'{$obj['body']}','','','127.0.0.1','{$obj['qianbian']}','{$obj['zhichi']}','{$obj['zhaoma']}','{$obj['gaoxiao']}','{$obj['chedan']}','{$obj['bujie']}','{$obj['chijing']}','{$obj['henbang']}','{$obj['music']}')";
        $sql3_r = $db->exec($sql3);
        if ($sql3_r < 0 or $sql2_r < 0) {
            $db->exec('delete from dede_archives where id=' . $id);
            $db->exec('delete from dede_addonarticle where aid=' . $id);
            $db->exec('delete from dede_arctiny where id=' . $id);
            return false;
        }
        return true;
    } else {
        return false;
    }
}

/**
 * 取得没有html文档的字符串
 * @param type $html_str
 * @return type
 */
function htmlToText($html_str) {
    return preg_replace('/\s+/', '', preg_replace('/&nbsp;/s', '', preg_replace('/<.*>/sU', '', $html_str)));
}

/**
 *  dede中的sortrank计算方法增加天数 既然是提交，就不需要这个方法了
 *
 * @param     int  $ntime  当前时间
 * @param     int  $aday   增加天数
 * @return    int 计算后的时间
 */
function AddDay($ntime, $aday) {
    $dayst = 3600 * 24;
    $oktime = $ntime + ($aday * $dayst);
    return $oktime;
}

/**
 * 获取单个列表页全部的文章列表
 * @param int $url 列表页链接地址
 */
function getArcticleList($url) {
    $dom = new simple_html_dom;
    $dom->load_file($url);
    $i = 0;

    $items = $dom->find('.left .item .arttitle');
    foreach ($items as $k => $v) {
        $res[$i]['href'] = $GLOBALS['prefix'] . $v->children[0]->attr['href'];
        $res[$i]['title'] = $v->children[0]->innertext;
        preg_match('/(\d+)\.html/isU', $res[$i]['href'], $temp_1);
        $res[$i]['id'] = $temp_1[1];
        $i++;
    }

    /* 释放资源 */
    $dom->clear();
    unset($dom);
    return $res;
}

/**
 * 获取一篇文章信息绝想
 * @param int $id 日记id
 */
function pickOne($id) {
    $url = $GLOBALS['prefix'] . "/{$id}.html";
    echo $url;
    $dom = new simple_html_dom;
    $dom->load_file($url);

    $postHeader_title = $dom->find('.left h1[0]');
    $pubtime = $dom->find('.pubtime');
    $heart = $dom->find('.week a');
    $info = $dom->find('.author a');
    $content = $dom->find('.content');
    $views = $dom->find('.views b');

    $writer = $info[0]->innertext;
    $title = $postHeader_title[0]->innertext;
    $senddate = $pubdate = strtotime($pubtime[0]->innertext);
    $body = $content[0]->innertext;
    $views = $views[0]->innertext;

    /* 释放资源 */
    $dom->clear();
    unset($dom);
    $mp3 = preg_match_all('/\?mp3=(.+\.mp3).*autostart/Us', $body, $res);

    if ($mp3 and isset($res) and count($res) > 0) {
        $music = $res[1][0];
    }

    /* 去除超链接和开头的空白段落 */
    $body = preg_replace('/<a.*>(.*)<\/a>/isU', '$1', preg_replace('/<div.*>(.*)<\/div>/isU', '', preg_replace('/^<p>\s*<\/p>/', '', preg_replace('/\s*<style.+<\/style>/s', '', $body))));

    /* 本地化图片 */
    saveImages($body, $res_img);
    $obj = array('title' => $title, 'writer' => $writer, 'body' => $body, 'pubdate' => $pubdate, 'senddate' => $senddate, 'views' => $views);
    $obj['sortrank'] = AddDay($senddate, 0);
    /* 处理背景音乐 */
    $obj['music'] = isset($music) ? $music : '';
    return $obj;
}

/**
 * 生成缩略图并打水印
 * @param string $file 文件全名
 * @return string 缩略图名字
 */
function makeThumb($file) {
    $image_tool = new ImageTool($file);
    $new_name = $image_tool->makeThumb(300, 300);
    $image_tool->waterMark('./upload/cklogo.png');
    return $new_name;
}

/**
 * 本地化远程图片并返回图片列表
 * @param string $html_str 要存储图片的路径
 * @param string $predix 要查找图片的前缀
 */
function saveImages(& $html_str, & $result) {
    $reg = '/<img.+src\s*=\s*[\'"]\s*(.+\.(\w{3,5}))\s*[\'"].*>/iU';
//    $html_str = preg_replace_callback($reg, 'savePic', $html_str);
    $html_str = preg_replace_callback($reg, 'noHttp', $html_str);
    preg_match_all($reg, $html_str, $result);
}

/* 判断图片是否是http绝对路径开头 */

function noHttp($matches) {
    $image_url = $matches[1];
    if (strpos($image_url, '/') === false) {
        $image_url = $GLOBALS['prefix'] . $image_url;
    }
    return '<center><img src="' . $image_url . '" style="max-width:680px;"/></center>';
}

/**
 * 保存图片到本地
 * @param type $matches
 * @return type
 */
function savePic($matches) {
    $error_img = '/upload/yimo.png';
    $filename = uniqid() . '.' . $matches[2];
    if (!downloadPicture($matches[1], './uploads/cj/', $filename)) {
        $src = $error_img;
    } else {
        $src = 'http://eshop.cc/uploads/cj/' . $filename;
    }
    return "<img style=\"max-width:500px\" src=\"$src\"/>";
}

/**
 * 下载远程图片
 * @param string $image_url 图片保存地址
 * @param string $save_path 图片保存路径
 * @param string $filename 图片文件名
 * @return string 成功返回文件字节数，失败返回false
 */
function downloadPicture($image_url, $save_path, $filename = 'rand') {

    $image_url = (!strpos($image_url, 'http://')) ? $GLOBALS['prefix'] . $image_url : $image_url;

    if (substr($save_path, -1) == '/' || substr($save_path, -1) == '\\') {
        $save_path = rtrim($save_path, '/');
        $save_path = rtrim($save_path, '\\');
    }

    if (!is_dir($save_path)) {
        if (!mkdir($save_path, 0, true))
            die('创建目录失败');
    }
    if ($filename == 'rand') {
        $filename = uniqid();
    }

    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $image_url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_COOKIE, 'juexiangssid=acnjkmock336p1ofl7sbgf2p97');
    curl_setopt($ch, CURLOPT_REFERER, 'http://www.juexiang.com/');
    curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36');
    $img = curl_exec($ch);
    curl_close($ch);
    unset($ch);
    return file_put_contents($save_path . DIRECTORY_SEPARATOR . $filename, $img);
}
秦仙游
关注
专栏目录
织梦插件，织梦dedecms自动采集插件，自动采集
ymuno的博客
10-08 4043
此为织梦插件，dede织梦自动采集插件，自动采集文章发布，此外赠送161个采集规则（部分采集规则可能失效） 采集插件安装 点击模块，上传新模块，选择文件，根据你使用的后台上传对应的版本（DedePlus_AutoCollect_V3_20111021_GBK_Demo.xml或者DedePlus_AutoCollect_V3_20111021_UTF8_Demo）点击确定完成插件的上传 系统自动跳...
DEDE 织梦 CMS 文章采集不到
a5461789的博客
11-07 1858
DEDE 织梦 CMS 文章采集不到关于DEDE CMS 织梦采集不到的问题 关于DEDE CMS 织梦采集不到的问题 最近使用dede cms 过程中，需要用到采集功能，按照正常流程操作完之后发现不显示列表页文章，非常纳闷，经过长时间的错误排查以后，在 /include/dedehttpdown.class.php 文件的314行，将 curl_setopt($this-&amp;amp;amp;amp;amp;amp;gt;m_ch, CU...
DEDECMS之九 文章采集
weixin_34377065的博客
05-27 151
到很多网友都为织梦（DEDECMS）的采集教程头疼，的确，官方出的教程太笼统了，什么都没说，换个网站你什么都做不了，这个教程是最详尽的教程，让你一看即会！ 一、列表采集 第一步、我们打开织梦后台点击采集——采集节点管理——增加新节点 第二步、这里我们以采集普通文章为例，我们选择普通文章，然后确定 第三步、进入了采集的设置页面，填写节点名称。 第四步、打开你想要...
织梦 使用织梦自带的采集器采集文章
一直专注于互联网
08-02 1314
选择“采集” -&gt; “采集节点管理” -&gt; 点击“增加新节点”  填写“节点名称” -&gt; 选择“目标页面编码” -&gt; 在“引用网站”填写该网站的一个文章页    填写“匹配网站” -&gt; 填写“页码”数 -&gt; 点击“测试” -&gt; 如图表示成功  填写列表页下的文章链接的“区域开始的HTML”的“区域结束的HTML” -&gt; 点击“保存并测试” ...
DEDECMS采集完整流程
webnoties的专栏
12-09 1206
设置字段名，即新建模型。频道模型-》内容模型管理-》普通文章-》复制（这里我们直接复制一个文章模型）新频道ID:17新频道名称：QQ视频新频道标识：article17新附加表：复制模板：这些基本默认即可，名称可改一下。确定。然后我们再回到内容模型列表，点“QQ视频”模型-》修改-》字段管理-》标题a1 50主演a2 255导演a3 255标签a4 255播放次数a5 int(10)评分a6 flo
dede栏目添加自定义字段及调用
L_melody的博客
04-02 479
步骤 （以字段名 typetitle 为例）： 1、在数据表dede_arctype结构中添加字段typetitle。 2、在目录/dede/templets/ 中打开catalog_add.htm、catalog_edit.htm，添加如下内容 3、在目录/dede/中打开catalog_add.php（38行）、catalog_edit.php（65行、227行），将新增的字段添加进去 4、在以下文件添加该字段： include\taglib\channel.lib.p...
dede解决seo的自定义文章名称的url问题
05-11
在SEO（搜索引擎优化）中，一个清晰、友好的URL结构对于提升网站的可读性和搜索引擎排名至关重要。在本文中，我们将深入探讨如何使用DEDE CMS（织梦内容管理系统）来解决自定义文章名称的URL问题，以实现更优化的SEO...
中国站长站 For Dede4.0 采集规则
10-30
### 中国站长站 For Dede4.0 采集规则详解 #### 一、概述 本文档将详细介绍如何针对中国站长站使用DedeCMS v4.0版本进行网站内容的自动采集，包括设置采集规则的基本步骤与注意事项。对于那些希望利用自动化工具来...
dede3.1分页文字采集过滤规则详说(图文教程)
10-30
总的来说，DEDE3.1的分页文字采集过滤规则是一个涉及HTML解析、正则表达式匹配和内容处理的过程。熟练掌握这些规则，能帮助我们高效地进行内容采集，提升网站更新速度，同时也降低了手动编辑的工作量。在实践中，应...
DEDE 织梦5.7 新闻采集规则
11-11
新闻采集是DEDE织梦系统的一个重要功能，它允许用户自动抓取网络上的新闻内容，节省手动录入的时间，提高工作效率。在这个特定的"DEDE 织梦5.7 新闻采集规则"中，包含的是对腾讯国内、国际新闻，以及搜狐社会和经济...
dedecms 文章发布参数
weixin_41868478的博客
10-19 987
1、必选参数 　　title　　　　　 　标题 　　body　　　　　 　 内容  typeid 　　　　　 主栏目ID，必填，可在后台网站栏目管理处查看该id  username          用户名,必须使用网站上已存在的用户名,默认是随机用户名,用户需要在模块中设置  pw                验证密码.在刷新列表和post发布时使用,需要模块和接口中的验证密码一致. 2、可...
php curl跨域cookie_php使用curl带cookie访问一直失败求助
weixin_30696613的博客
03-08 364
@Launcher:感谢你在百忙中抽空帮我。刚才我做了个对比：1、使用Microsoft Network Monitor 监听apache发送的数据包2、使用Microsoft Network Monitor 截获ie登录目标后台3、使用Microsoft Network Monitor 截获firefox登录目标后台由第一点得到：cookie确实由curl加入到了http请求头部里面，具体数据如...
dedecms V5.7 SP2 web后台getshell
公众号shadow sock7
11-12 5216
https://www.freebuf.com/vuls/164035.html dede/tpl.php任意文件写入漏洞。 条件：已登录后台。 首先访问/dede/tpl.php?action=upload获取token值 访问/dede/tpl.php?filename=&amp;amp;amp;amp;amp;lt;yourname&amp;amp;amp;amp;amp;gt;.lib.php&amp;amp;amp;amp;amp;amp;action=savetagf
Dedecms 火车采集器免登陆发布接口，自动生成上下篇、栏目页、首页
风雪小筑
07-24 7548
火车采集器发布至DEDECMS文章的免登陆接口
DeDecms任意用户登录,管理员密码重置漏洞
鸥鹭忘机
07-28 3891
基本信息 漏洞编号：SSV-97087 实验版本：dedecms v5.7SP2 下载地址：http://updatenew.dedecms.com/base-v57/package/DedeCMS-V5.7-UTF8-SP2.tar.gz 参考文章：https://www.seebug.org/vuldb/ssvid-97074 前置知识 如果要把一个key存储到cookie中，织梦的存储方式是把key和加密key同时存储在cookie中。每次读取用户传来的key时，将key进行加密后与传来的加密k
dedecms采集侠问题
IT生涯
07-09 1500
1.在页面中把这个加入进去，可以自己实现定时采集 crontab -l 0 0 * * *root /usr/share/nginx/ithome/ithome/data/sitemap.html  2.dedecms中data中的Plugin.conf.插件配置，需要设置为777可读写才行
爬虫入门学习总结（2）——CSV批量上传到织梦CMS
chen70956的博客
09-30 569
目标：把CSV写入到织梦CMS文章，达到批量上传的效果 进度：基本达成目标，但还是有些小问题没有解决 存在的疑问： 分隔符的处理为什么有点乱 函数还是用得不熟 还没解决的技术性问题： 文字的转码问题 能不能直接写入数据库里 分隔符的处理 插入分隔符或者其他补充内容 下一步目标： 微博ajax的读取写入 关于CMS的写入找了很久，最后找到了一个post的方法， 整体来说就是利用...
DEDE 4.0 自动采集源文件配置与Linux定时任务实现
DEDE 4.0 是一个强大的内容管理系统（CMS）插件，特别注重自动化内容采集功能。它允许用户轻松地抓取并整合网站上的信息，以便在自己的网站上展示。在DEDE 4.0中，自动采集源文件的功能非常实用，可以帮助管理员管理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值