DEDE采集文章重复标题URL内容重复

最新推荐文章于 2024-03-29 18:54:01 发布

lumengabc

最新推荐文章于 2024-03-29 18:54:01 发布

阅读量356

点赞数

分类专栏： dede 文章标签： DEDE采集器 URL参数修复内容重复采集问题

本文链接：https://blog.csdn.net/webnoties/article/details/119605908

版权

dede 专栏收录该内容

69 篇文章 0 订阅

订阅专栏

DEDE采集文章重复标题URL内容重复

文件路径：include/dedehttpdown.class.php

采集网址类似：

http://www.a.com/b.php?url=a/resources/43/356.html

DEDE源码实际采集的URL会变成下面这样，并不会带上后面的query参数：

http://www.a.com/b.php

function PrivateStartSession($requestType="GET")
    {
        if ($this->m_scheme == "https") {
            $this->m_port = "443";
        }

//这里是原来的拼接方式【去除了query】所以url不完整，也就是说带参数的详情页无法采集，所以修改下，例Array ( [scheme] => http [host] => www.xx.com [path] => /b.php [query] => url=a%2Fresources%2F41%2F59.html )	
		$url	= $this->m_scheme.'://'.$this->m_host.':'.$this->m_port.$this->m_path;	
		$url	= $this->m_url;//加上这行。直接使用原始URL采集。

        if (function_exists('curl_init') && function_exists('curl_exec')) {
            $this->m_ch = curl_init();
            curl_setopt($this->m_ch, CURLOPT_URL, $url);//

所以做下修改，如上。