Selenium Webdriver 的使用java执行js代码 解决 ScriptEngine不支持浏览器内置对象window,document的问题

原创 2017年02月27日 10:39:48

问题场景:

使用java 掉用js代码,发现 ScriptEngine不支持浏览器内置对象window,document的问题;

问题一:为什么要 用java掉用js代码?

    比如在 抓取(爬取)对方网站时,需要破解一些js逻辑代码合作加密算法,但是js混淆了,不能直接翻译出对应的逻辑,或者翻译的代价太高;

   那么 不如 直接 使用js文件,模拟调用;这是 就会 使用到 java调用js的场景;

  java 有支持调用js的解析引擎,示例代码如下:

/**
	 * 获取java 提供的 ScriptEngine 脚本执行引擎 信息
	 * @throws IOException
	 */
	@Test
	public void showScriptEngine() throws IOException {
		ScriptEngineManager manager = new ScriptEngineManager();
		List<ScriptEngineFactory> factories = manager.getEngineFactories();
		for (ScriptEngineFactory f : factories) {
			System.out.println(f.getEngineName());
			System.out.println(f.getEngineVersion());
			System.out.println(f.getLanguageName());
			System.out.println(f.getLanguageVersion());
			System.out.println(f.getExtensions());
			System.out.println(f.getMimeTypes());
			System.out.println(f.getNames());
		}
	}
	  
	/**
	 * java调用js 解析执行js脚本(js文件)代码
	 * 场景:
	 * 1,使用js特有的优势
	 * 2,js特有的一些加密方式,并且js代码进行混淆了,转换为java方式 代价比较高的情况下
	 * @throws Exception
	 */
	@Test
	public void testjava2js() throws Exception {
		ScriptEngineManager manager = new ScriptEngineManager();
		ScriptEngine engine = manager.getEngineByName("javascript");
		
		// 如果需要引用 js外部文件,可以通过流把js文件(jquery.js)读到一个String变量
		
		/*
		String jsFileName = "C:\\jquery.min.js"; // 读取js文件
		FileReader reader = new FileReader(jsFileName); // 执行指定脚本
		engine.eval(reader);
		*/
		String script = "function add(op1,op2){return op1+op2};var res1=2,res=10; "; //定义函数并调用
		engine.eval(script);
		Invocable invoke = (Invocable) engine; // 调用方法,并传入两个参数
		
		// 方式1 通过对象调用方法, 获取结果
		Object c = invoke.invokeFunction("add", 1,2);
		System.out.println(c);
		
		// 方式2 执行js脚本调用方法, 获取结果
		engine.eval("var res = add(2,3);");
		
		// 获取新定义的变量,会覆盖原有同名变量
		Object o = engine.get("res");
		System.out.println(o);
		
		// 获取 原有脚本/脚本文件 中的 变量
		Object o2 = engine.get("res1");
		System.out.println(o2);
		
		// 测试 浏览器 内置对象 是否支持
		try {
			engine.eval("alert(2);");
		} catch (Exception e) {
			System.out.println(e.getMessage());
		}
		try {
			engine.eval("document.write(2);");
		} catch (Exception e) {
			System.out.println(e.getMessage());
		}
		try {
			engine.eval("var innerHeight=window.innerHeight");
		} catch (Exception e) {
			System.out.println(e.getMessage());
		}
		try {
			engine.eval("var userAgent=navigator.userAgent");
		} catch (Exception e) {
			System.out.println(e.getMessage());
		}
		// ...so, ScriptEngine 不支持 浏览器内置对象;nodejs 也一样不支持  浏览器内置对象
	}

问题,这里有个问题,如果js代码中 有获取 浏览器 内置对象的 地方,比如 window.location, navigator.userAgent等,

那么ScriptEngine 解析的时候 就会 提示:

ReferenceError: "alert" is not defined in <eval> at line number 1
ReferenceError: "document" is not defined in <eval> at line number 1
ReferenceError: "window" is not defined in <eval> at line number 1
ReferenceError: "navigator" is not defined in <eval> at line number 1

那么 怎么 让 解析的时候 让ScriptEngine 支持 浏览器内置对象列?

首先 ScriptEngine 本身 不带 浏览器内核,那么就需要去 找其他 解析引擎;

其次 尝试 看了nodejs的文档,传说中 nodejs使用的v8引擎,应该支持吧,

const v8 = require('v8');
const vm = require('vm');

尝试了一下 发现 并不支持。他也是 后台的模式,和java的ScriptEngine 一致,只支持解析 非浏览器内核的js逻辑代码;

也对,毕竟 后台执行的js逻辑代码 怎么会 需要 获取浏览器对象列?

只能说我这个场景 太特殊了;


ok,此时 两个办法:

1,找到一个 java可以调用的 浏览器内核,模拟 js在浏览器中执行,并获取 执行之后的结果。

2,老老实实 读 js代码,读懂后 找到 java的逻辑实现方式。

分工一下 两个方式 同时开始。


小插曲:

 为什么 不可以 把js代码放在jsp 或者html中,通过http的方式调用 获取返回的结果?

 首先 把js代码放在jsp 或者html中,获取执行结果。

jsp是在 服务器端就执行好了,js代码是浏览器中执行的;

http访问的是服务器,中间没有经过浏览器,就是说 页面中jsp的代码 执行了,但是js代码是不会有机会执行。

其次:http访问jsp或者html 返回的是服务器编译执行后的 结果代码,而这些 页面代码 在通过浏览器 执行后,呈现给用户;

用户才看到的是 华丽的页面;

所以这里 不清楚 web编程 和 html js css 解析渲染时机的 同学要注意了。


所以 把js代码 挂在 web容器中 再访问 是不能解决这个问题,因为 中间 同样没有浏览器内核。

虽然 以为在浏览器 访问 web地址 可以看到 结果;但是 用java http 后台访问 是不行滴。


我来继续寻找,浏览器内核的解决方式。


这时想起了 web自动化测试的方案,曾经看到测试的同事 用java编写 web自动化测试的脚本;

可以通过 java代码打开浏览器进行 元素定位,数值校验,逻辑登陆 结果校验。。


百度了一下:WEB 自动化测试工具 看到了 selenium web自动化测试工具套 

可以看看 这个文章 ,搭建环境示例 :http://blog.csdn.net/kash_chen007/article/details/40586067

逻辑是这样的:

java 通过 selenium 工具套件,结合 本地的 浏览器驱动 与 本地的 浏览器 进行交互,来 模拟操作;

达到的效果是:

java 通过 selenium   可以打开 chrome/firefox/IE等浏览器 (装不同的驱动,打开不同的浏览器)

java 通过 selenium  打开浏览器 输入网址,获取 浏览器解析之后的 结果。

还可以通过 元素定位 ,元素解析的方式,获取指定区域的 数据。


好了 ;

原理问题解决了,废话少说 ,上代码:

方式1,显示调用;

方式2,后台执行,用于部署到正式环境(这个方式不需要依赖驱动包和本地浏览器,有jar包即可)

/**
	 * 方式1;使用 ChromeDriver 显式调用 浏览器
	 * 当然这里 也可以用firefox IE等其他 浏览器和diver,下载不同的浏览器和驱动即可
	 * java 通过 selenium 工具套-->打开本地浏览器-->输入html文件地址(支持远程和本地)-->执行html中的脚本代码-->获取结果
	 * 这里 获取的结果 不是 html代码,而是 在浏览器解析完html js代码之后展示的信息(这里可能不太好理解,一会我画个图 单独描述下,html js jsp执行的时机问题)
	 * 详细描述:
	 * java通过 selenium 工具套 ,让js脚本在浏览器内核中执行,然后 获取返回结果
	 * 这样就解决了 java ScriptEngine 不支持浏览器内置对象的问题
	 * 如此一样js代码 与实际web运行的环境一样执行
	 * @throws Exception
	 */
	@Test
	public void testSelenium0() throws Exception {
		// 第一步:因为是 使用chromediver所以 需要先安装chrome浏览器,chromediver
		// 这个博客介绍的很详细,地址:https://www.testwo.com/blog/6931
		
		// 第二步:设置环境变量
		System.setProperty("webdriver.chrome.driver",
				"C:\\Program Files (x86)\\Google\\Chrome\\Application\\chromedriver.exe");
		ChromeDriver webDriver = new ChromeDriver();
		
		long start = System.currentTimeMillis();
		
		// 第三步:设置访问地址
		//----
		// 这里和浏览器 地址栏目 可以输入的 地址一样 支持 远程地址 和 本地地址
		//webDriver.get("http://www.51jdy.cn");
		//webDriver.get("http://localhost:8080/web/Noname2.html?pwd=98912&username=halou");
		webDriver.get("file:///Users/guangtaozhai/Documents/workspace/web/WebContent/Noname2.html?pwd=98912&username=halou");
		
		// 第四步:获取输出信息;html中的js代码执行后 在body中document.write()或者 赋值给body或者div
		// 元素定位 获取 <html> 中<body> 下面的 内容
		WebElement webElement = webDriver.findElement(By.xpath("/html/body"));
		System.out.println(webElement.getText());
		System.out.println("耗时:"+(System.currentTimeMillis()-start));
		///---
		webDriver.close();
	}
	
	/**
	 * 方式2:隐式调用(java 后台调用浏览器/selenium/webdriver)
	 * 因为 方式1 会打开本地浏览器,这样一是速度慢,二是 不满足后台执行的方式 比如 部署在linux服务器上以后
	 * 方式2 通过 selenium 提供的 HtmlUnitDriver 进行后台调用;执行效率大幅上升
	 * @throws Exception
	 */
	@Test
	public void testSelenium1() throws Exception {
		// 使用HtmlUnitDriver 是不需要 安装 浏览器 和 驱动支持
		HtmlUnitDriver webDriver = new HtmlUnitDriver();
		webDriver.setJavascriptEnabled(true); // 设置支持 js脚本解析 ,是不是跟 安卓的 webview设置很像?
		
		long start = System.currentTimeMillis();
		//---- 
		// 这里和浏览器 地址栏目 可以输入的 地址一样 支持 远程地址 和 本地地址
		//webDriver.get("http://www.51jdy.cn");
		//webDriver.get("http://localhost:8080/web/Noname2.html?pwd=98912&username=halou");
		webDriver.get("file:///Users/guangtaozhai/Documents/workspace/java2js/WebContent/Noname2.html?pwd=98912&username=halou");
				
		WebElement webElement = webDriver.findElement(By.xpath("/html/body"));
		System.out.println(webElement.getText() );
		System.out.println(System.currentTimeMillis()-start);
		///---
		webDriver.close();
	}

注意:

在实际开发的时候 最好 单独 起一个项目,发布成服务的方式;

1,单独项目 避免jar包冲突,在实际 开发的时候 我遇到了这个问题,企图通过maven 解决 也没有搞定。

2,发布成独立服务 避免了 性能问题 影响其他业务代码,这个 还是比较 耗费资源的。


项目测试代码git地址:https://git.oschina.net/s9/jdy-test

项目关键字:
java调用js
ScriptEngine
ScriptEngine不支持浏览器内置对象window,document等
selenium
Selenium Webdriver
web自动化测试
java打开浏览器执行并获取结果
java调用浏览器内核执行js
ChromeDriver
HtmlUnitDriver
java后台调用浏览器内核
web爬虫
selenium remote
Caused by: java.lang.ClassNotFoundException: org.openqa.selenium.remote.SessionNotFoundException

用JAVA编写浏览器内核之实现javascript的document对象与内置方法

原创文章,转载请注明。 阅读本文之前,您需要对浏览器如何加载javascript有一定了解。当然,对java与javascript本身也需要了解。 本文首先介绍浏览器加载并运行javascript...
  • jeruen
  • jeruen
  • 2016年03月17日 11:56
  • 24740

Java语言的动态性支持(一)ScriptEngineManager

一、脚本语言的支持      JSR 223中规范了在Java虚拟机上运行的脚本语言与Java程序之间的交互方式。JSR 233是JavaSE6的一部分,在Java表中API中的包是javax....

HtmlUnit动态执行js函数

功能:动态指定js函数,实际上这个效果不是很有用,这里就做一个记录而已,参考代码如下: package com; import com.gargoylesoftware.htmlunit.Brows...

使用HtmlUnit模拟浏览器执行JS来获取网页内容

import com.gargoylesoftware.htmlunit.BrowserVersion; import com.gargoylesoftware.htmlunit.WebClient;...
  • earbao
  • earbao
  • 2014年11月30日 20:07
  • 27086

在Java中直接调用js代码

JDK1.6版添加了新的ScriptEngine类,允许用户直接执行js代码。 在Java中直接调用js代码 不能调用浏览器中定义的js函数,会抛出异常提示ReferenceError: ...

Java ScriptEngine 解析js

一、脚本语言的支持      JSR 223中规范了在Java虚拟机上运行的脚本语言与Java程序之间的交互方式。JSR 233是JavaSE6的一部分,在Java表中API中的包是javax.sc...

Java用ScriptEngine解析脚本

javax.script,始于JDK1.6,不过现在只有sun实现的javascript的解析器,难道是因为主要用来解析js语法所以归类到JEE的范畴?不过基本足够了,一般的用途主要是能解析通用的表达...

JAVA使用ScriptEngine 解析脚本

前言最近做一个功能需要把一个数学公式保存到数据库,然后通过java读取数学公式,传入参数进行计算,发现了java中的javax.script,它开始存在于JDK1.6,它可以解析通用的表达式,如三目,...

java执行字符串数学表达式 ScriptEngine

今天遇到了一个需要将数据库中保存的表达式,替换其中的字符,并计算出值,java是不能直接计算的例如:  Java代码   double d = (3+5-(2-4)*2...

java8 新特性 v8 nashorn 引擎(五)

简单的javascript 作为文本输出 ScriptEngineManager manager = new ScriptEngineManager();         ScriptEngine...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Selenium Webdriver 的使用java执行js代码 解决 ScriptEngine不支持浏览器内置对象window,document的问题
举报原因:
原因补充:

(最多只允许输入30个字)