自从有了Phantomjs和Casperjs,后台网页抓取和交互变得异常的简单

CasperJS自动登录与操作
本文介绍如何使用CasperJS实现自动登录沪江英语网站并完成打卡等操作。通过设置参数和调用方法,可以轻松实现模拟用户登录及后续交互。

  Casperjs是基于Phantomjs的,而Phantom JS是一个服务器端的 JavaScript API 的 WebKit
     这跟我一直想找个自带浏览器内核的后台东西的想法“暗合”。所以,在我发现这东西的时候就已经开始不由自主的兴奋起来了,研究一番之后,果不其然,后台连接网站和页面交互一下子变得异常简单起来。尤其是对需要登录才可进行的网页操作。
     于是乎,我就用它来写了两个小例子用来做一些登录网站后点击网上的一些链接和按钮的操作,在编写过程中,给人一种“想点哪里点哪里,咱们再也不用担心Cookie的问题~”的感觉~
     看完这个例子,同志们是不是不自觉的想起了某些比如“签到”,”每日登录领取“之类的词呢?

[1].[代码] 登录沪江英语自动打卡 跳至 [1]

01var casper = require('casper').create({   
02    verbose: true
03    logLevel: 'debug',
04    pageSettings: {
05         loadImages:  false,        
06         loadPlugins: true,         
07         userAgent: 'Mozilla/5.0 (Windows NT 6.1; rv:17.0) Gecko/20100101 Firefox/17.0'
08    }
09});
10//phantom.outputEncoding="gbk";
11casper.options.viewportSize = {width: 1680, height: 924};
12casper.start('http://bulo.hujiang.com/app/login?source=nbulo&returnurl=/home/');
13casper.waitForSelector("form#myform input[name='txtUsername']",
14    function success() {
15        this.test.assertExists("form input[name='txtUsername']");
16        this.fill("form",{
17            'txtUsername':'shixiaobao17',
18            'txtPassword':'×××××your password*****'
19        },false);
20        this.click("input#btnLogin");
21    },
22    function fail() {
23        this.test.assertExists("form input[name='txtUsername']");
24});
25
26casper.waitFor(function check() {
27    return this.getCurrentUrl().indexOf("bulo.hujiang.com/home")>-1;
28}, function then() {
29    console.log("登录成功!!!!!!!!!!!!");
30}).then(function(){
31    console.log("执行登录后的其它操作!!!!!!!!!!!!");
32    if(this.exists("#btn_card_do")){
33        this.click("#btn_card_do");
34        this.waitForSelector("#my_hb_btn",function success(){
35            console.log("打卡成功!");
36        },function fail(){
37            console.log("打卡失败!");
38        });
39    }else{
40        console.log("今天已经打过卡啦!");
41    }
42   
43});
44casper.run(function() {this.test.renderResults(true);});

需要的添加的jar包及工具:我这里使用maven来构建项目,添加依赖如下:   org.seleniumhq.selenium   selenium-java   3.2.0    PhantomJs工具到官网去下载:http://phantomjs.org/download.html 尽量都使用最新版本,不然会出现版本兼容的情况。 这里有一个已经写好的获取PhantomJSDriver的工具类 public static WebDriver getPhantomJs() {   String osname = System.getProperties().getProperty("os.name");   if (osname.equals("Linux")) {//判断系统的环境win or Linux     System.setProperty("phantomjs.binary.path", "/usr/bin/phantomjs");   } else {     System.setProperty("phantomjs.binary.path", "./phantomjs/win/phantomjs.exe");//设置PhantomJs访问路径   }   DesiredCapabilities desiredCapabilities = DesiredCapabilities.phantomjs();   //设置参数   desiredCapabilities.setCapability("phantomjs.page.settings.userAgent", "Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:50.0) Gecko/20100101 Firefox/50.0");   desiredCapabilities.setCapability("phantomjs.page.customHeaders.User-Agent", "Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:50.0) Gecko/20100101   Firefox/50.0");   if (Constant.isProxy) {//是否使用代理     org.openqa.selenium.Proxy proxy = new org.openqa.selenium.Proxy();     proxy.setProxyType(org.openqa.selenium.Proxy.ProxyType.MANUAL);     proxy.setAutodetect(false);     String proxyStr = "";     do {       proxyStr = ProxyUtil.getProxy();//自定义函数,返回代理ip及端口     } while (proxyStr.length() == 0);     proxy.setHttpProxy(proxyStr);     desiredCapabilities.setCapability(CapabilityType.PROXY, proxy);   }   return new PhantomJSDriver(desiredCapabilities); } 获取方式     try{     WebDriver webDriver = PhantomJsUtil.getPhantomJs();     webDriver.get(url);     SleepUtil.sleep(Constant.SEC_5);     PhantomJsUtil.screenshot(webDriver);     WebDriverWait wait = new WebDriverWait(webDriver, 10);     wait.until(ExpectedConditions.presenceOfElementLocated(By.id(inputId)));//开始打开网页,等待输入元素出现     Document document = Jsoup.parse(webDriver.getPageSource());     //TODO  剩下页面的获取就按照Jsoup获取方式来做   }finally{     if (webDriver != null) {       webDriver.quit();     }   } python版使用webdriver+PhantomJs爬虫使用,参考http://www.cnblogs.com/kuqs/p/6395284.html
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值