火影推荐程序连载55-实战用puppeteer 和puppeteer-cluster 获取某站所有有用链接

谷歌推出的用于操作无头浏览器的nodeJs框架,提供上层API用于直接操作浏览器。该框架适用于爬取web2.0页面,同时对web1.0的支持率也比较高,代码编写也很简单。 

Puppeteer-cluster

池化思想作用于puppeteer的产物,任务分发与调度,让nodejs可以利用自身去实现整个爬虫。在使用该组件之前,我使用java来写爬虫的调度算法,然后用eureka来调用nodejs的页面抓取模块

首先需要获取整站的所有页面

获取所有页面,并确定当url是pan.baidu.com的时候过滤掉已经失效的链接

const {Cluster} = require('puppeteer-cluster');
const launchOptions = {
    headless: true,
    ignoreHTTPSErrors: true,        // 忽略证书错误
    waitUntil: 'networkidle2',
    defaultViewport: {
        width: 1920,
        height: 1080
    },
    args: [
        '--disable-gpu',
        '--disable-dev-shm-usage',
        '--disable-web-security',
        '--disable-xss-auditor',    // 关闭 XSS Auditor
        '--no-zygote',
        '--no-sandbox',
        '--disable-setuid-sandbox',
        '--allow-running-insecure-content',     // 允许不安全内容
        '--disable-webgl',
        '--disable-popup-blocking',
        //'--proxy-server=http://127.0.0.1:8080'      // 配置代理
    ],
    executablePath: 'C:\\Program Files (x86)\\Google\\Chrome\\Application\\chrome.exe',
};

const clusterLanuchOptions = {
    concurrency: Cluster.CONCURRENCY_PAGE,  // 单Chrome多tab模式
    maxConcurrency: 20,  // 并发的workers数
    retryLimit: 2,   // 重试次数
    skipDuplicateUrls: true,  // 不爬重复的url
    monitor: true,  // 显示性能消耗
    puppeteerOptions: launchOptions,
};
(async () => {
    const cluster = await Cluster.launch(clusterLanuchOptions);
    const cluster2 = await Cluster.launch(clusterLanuchOptions2);
    await cluster2.task(async ({page, data: url}) => {
        let urlTrue = url.split(' ')[0];
        await page.goto(urlTrue);
        await page.waitForSelector('html');
        let title = await page.title();
        let x = "D:\\workspace\\node\\check\\bbs\\controllers\\pantrue.txt";
        if (title.indexOf('不存在') === -1) {
            let value = '';
            if (title.indexOf('分享无限制')) {
                value = urlTrue + ' ' + title + '\n';
            } else {
                value = url.split(' ')[1].substr(0, 20) + ' ' + url.split(' ')[2] + ' ' + urlTrue + ' ' + title + '\n';
            }
            fs.writeFile(x, value, {flag: 'a'}, function (err) {
                if (err !== null) {
                    console.log(err);
                }
            });
        }
    });
    await cluster.task(async ({page, data: url}) => {
        await page.goto(url);
        await page.waitForSelector('html');
        let title = await page.title();
        await page.content();
        let x = "D:\\workspace\\node\\check\\bbs\\controllers\\pan.txt";
        let y = "D:\\workspace\\node\\check\\bbs\\controllers\\outDomain.txt";
        let yuanDomain = urllib.parse(urlTrue);
        let newDomain = urllib.parse(url);

        if (yuanDomain.hostname !== newDomain.hostname) {
            if (!outUrlSet.has(newDomain.hostname)) {
                fs.writeFile(y, url + ' ' + title + '\n', {
                    flag: 'a'
                }, function (err) {
                    if (err) {
                        console.error(err);
                    }
                });
                outUrlSet.add(newDomain.hostname);
            }
        } else {
            let links = await page.$$eval('[src],[href],[action],[data-url],[longDesc],[lowsrc]', get_src_and_href_links);
            let res = await parseLinks(links, url);
            console.log({links: links.length}, {res: res.length});
            for (let i = 0; i < res.length; i++) {
                let link = res[i];
                if (link !== undefined && link.indexOf("pan.baidu.com") !== -1) {
                    // todo 存起来
                    if (!panSet.has(link)) {
                        fs.writeFile(x, link + ' ' + title + ' ' + url + '\n', {
                            flag: 'a'
                        }, function (err) {
                            if (err) {
                                console.error(err);
                            }
                        });
                        cluster2.queue(link + ' ' + title + ' ' + url);
                        panSet.add(link);
                    }
                } else {
                    cluster.queue(link);
                }
            }
        }
    });
    cluster.queue('http://www.xxxxx.com/');
    await cluster.idle();
    await cluster.close();
})();

async function parseLinks(links, url) {
    let result = [];
    // 处理url
    return result;
}

function get_src_and_href_links(nodes) {
    let result = [];
    // 获取节点中的所有
    return result;
}

分析页面,获取更深的信息

得到的盘链接,有些是无限制的,有些是需要tiquma的,而tiquma该如何获取呢?往往原来的页面里面会有,这个时候我们就需要分析原来的页面了。 file 在这个网站中,提取码几乎都放在strong标签中,那我们只好使用方法得到页面中的strong标签 在puppeteer中可以使用page.$$eval()方法来获取strong节点集合,然后使用treeWalker遍历整个节点得到我们想要的东西即可。

let {text,html} = await page.$$eval('strong', getTiQuMa);
function getTiQuMa(nodes) {
    let html = '';
    let text = '';
    for (let node of nodes) {
        let treeWalker = document.createTreeWalker(
            node,
            NodeFilter.SHOW_ELEMENT,
            {
                acceptNode: function (node1) {
                    return NodeFilter.FILTER_ACCEPT;
  www.dongdongrji.cn maven.apache.org/xsd/maven-4.0.0.xsd">
  
  <artifactId>dubbo<www.xxinyoupt.cn /artifactId>
  
  <groupId>nacos</groupId>
  
  <version>0.0.1-SNAPSHOT<www.lanboyulezc.cn /version>
  
  <priority value=www.lanboylgw.com/"info"www.chuanchenpt.cn/ />
  
  <appender-ref ref=www.yixingxzc.cn"stdout"www.lanboylgw.com />
  
  <appender-ref ref="fileout"www.baichuangyule.cn /
  
  换掉encoder的实现类或者换掉layout的实现类就可以了
  
  <?xml version= www.lanboyulezc.cn www.jiuerylzc.cn"1.0"www.zhuyngyule.cn encoding=www.bhylzc.cn"UTF-8"?>
  
  <configuration debug=www.shicaiyulezc.cn"false"www.huachenguoj.com >
  
  <property name=www.51huayuzc.cn"APP_NAME" value="logtest"/>
  
  <property name=www.xinhuihpw.com "LOG_HOME" value="./logs" www.wanyaylezc.cn//>
  
  <appender name="STDOUT" class="www".yachengyl.cn"ch.qos.logback.core.ConsoleAppender">
  
  <!--替换成AspectLogbackEncoder-->
  
  <encoder class="www.shengrenyp.cn "com.yomahub.tlog.core.enhance.logback.AspectLogbackEncoder"www.51huayuzc.cn>
  
  <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{www.pinguo2yl.com} - %msg%n</pattern>
  
  <appender www.baishenjzc.cn name="FILE" www.baihua178.cn class="ch.qos.logback.core.rolling.RollingFileAppender">
  
  <File>${LOG_HOME}/${APP_www.jinliyld.cn NAME}.log<www.baihua178.cn /File>
  
  <rollingPolicy class="www.jintianxuesha.com"ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy"www.wanyaylezc.cn/>
  
  <FileNamePattern>www.yachengyl.cn ${LOG_HOME}/${APP_NAME}.log.%d{yyyy-MM-dd}.%i.log</FileNamePattern>
  
  <MaxHistory>30<www.51huayuzc.cn /MaxHistory>
  
  <maxFileSize>1000MB<www.jinliyld.cn /maxFileSize>

问题展望

现在,我们实现了基于一个网站的所有盘链接的获取,那么,如果现在想要实现一个通用的盘链接获取爬虫,从而实现盘链接的搜索引擎该如何完成呢? 关注我,让我给你解答。

©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页