casperjs写爬虫

爬取笔趣看首页中的一些小说的相对链接,只是一个熟悉练手的项目

var casper = require("casper").create();

function getLinks() {
    var links = document.querySelectorAll("div.p10 li>a");
    return Array.prototype.map.call(links, function(e) {
        return e.getAttribute("href");
    });
}

casper.start("http://www.biqukan.com/", function() {
    // 阻塞直到DOM中有与选择器字符串匹配的元素
    this.wait(2000, function () {
        this.echo("I've waited for 2 seconds")
    });

    links = this.evaluate(getLinks);
    // 在当前的上下文环境下执行一个表达式
    /*
    evaluate()是在casperjs环境和你所打开的网页的桥梁,
    也就是你使用evaluate()是在操作你当前打开的DOM文档,
    是casperjs环境和DOM文档的一个交互,
    这就像你是在用浏览器的控制台控制html内容是一样一样的
    */
    // this.capture("D://图片/元尊.png")
});


casper.run(function() {
    this.echo(links.length +"\n" + "links found:");
    this.echo(" - " + links.join("\n - ")).exit();
});
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值