涛哥的专栏

return "简单".equals("快乐");

Selenium Webdriver 的使用java执行js代码 解决 ScriptEngine不支持浏览器内置对象window,document的问题

问题场景:

使用java 掉用js代码,发现 ScriptEngine不支持浏览器内置对象window,document的问题;

问题一:为什么要 用java掉用js代码?

    比如在 抓取(爬取)对方网站时,需要破解一些js逻辑代码合作加密算法,但是js混淆了,不能直接翻译出对应的逻辑,或者翻译的代价太高;

   那么 不如 直接 使用js文件,模拟调用;这是 就会 使用到 java调用js的场景;

  java 有支持调用js的解析引擎,示例代码如下:

/**
	 * 获取java 提供的 ScriptEngine 脚本执行引擎 信息
	 * @throws IOException
	 */
	@Test
	public void showScriptEngine() throws IOException {
		ScriptEngineManager manager = new ScriptEngineManager();
		List<ScriptEngineFactory> factories = manager.getEngineFactories();
		for (ScriptEngineFactory f : factories) {
			System.out.println(f.getEngineName());
			System.out.println(f.getEngineVersion());
			System.out.println(f.getLanguageName());
			System.out.println(f.getLanguageVersion());
			System.out.println(f.getExtensions());
			System.out.println(f.getMimeTypes());
			System.out.println(f.getNames());
		}
	}
	  
	/**
	 * java调用js 解析执行js脚本(js文件)代码
	 * 场景:
	 * 1,使用js特有的优势
	 * 2,js特有的一些加密方式,并且js代码进行混淆了,转换为java方式 代价比较高的情况下
	 * @throws Exception
	 */
	@Test
	public void testjava2js() throws Exception {
		ScriptEngineManager manager = new ScriptEngineManager();
		ScriptEngine engine = manager.getEngineByName("javascript");
		
		// 如果需要引用 js外部文件,可以通过流把js文件(jquery.js)读到一个String变量
		
		/*
		String jsFileName = "C:\\jquery.min.js"; // 读取js文件
		FileReader reader = new FileReader(jsFileName); // 执行指定脚本
		engine.eval(reader);
		*/
		String script = "function add(op1,op2){return op1+op2};var res1=2,res=10; "; //定义函数并调用
		engine.eval(script);
		Invocable invoke = (Invocable) engine; // 调用方法,并传入两个参数
		
		// 方式1 通过对象调用方法, 获取结果
		Object c = invoke.invokeFunction("add", 1,2);
		System.out.println(c);
		
		// 方式2 执行js脚本调用方法, 获取结果
		engine.eval("var res = add(2,3);");
		
		// 获取新定义的变量,会覆盖原有同名变量
		Object o = engine.get("res");
		System.out.println(o);
		
		// 获取 原有脚本/脚本文件 中的 变量
		Object o2 = engine.get("res1");
		System.out.println(o2);
		
		// 测试 浏览器 内置对象 是否支持
		try {
			engine.eval("alert(2);");
		} catch (Exception e) {
			System.out.println(e.getMessage());
		}
		try {
			engine.eval("document.write(2);");
		} catch (Exception e) {
			System.out.println(e.getMessage());
		}
		try {
			engine.eval("var innerHeight=window.innerHeight");
		} catch (Exception e) {
			System.out.println(e.getMessage());
		}
		try {
			engine.eval("var userAgent=navigator.userAgent");
		} catch (Exception e) {
			System.out.println(e.getMessage());
		}
		// ...so, ScriptEngine 不支持 浏览器内置对象;nodejs 也一样不支持  浏览器内置对象
	}

问题,这里有个问题,如果js代码中 有获取 浏览器 内置对象的 地方,比如 window.location, navigator.userAgent等,

那么ScriptEngine 解析的时候 就会 提示:

ReferenceError: "alert" is not defined in <eval> at line number 1
ReferenceError: "document" is not defined in <eval> at line number 1
ReferenceError: "window" is not defined in <eval> at line number 1
ReferenceError: "navigator" is not defined in <eval> at line number 1

那么 怎么 让 解析的时候 让ScriptEngine 支持 浏览器内置对象列?

首先 ScriptEngine 本身 不带 浏览器内核,那么就需要去 找其他 解析引擎;

其次 尝试 看了nodejs的文档,传说中 nodejs使用的v8引擎,应该支持吧,

const v8 = require('v8');
const vm = require('vm');

尝试了一下 发现 并不支持。他也是 后台的模式,和java的ScriptEngine 一致,只支持解析 非浏览器内核的js逻辑代码;

也对,毕竟 后台执行的js逻辑代码 怎么会 需要 获取浏览器对象列?

只能说我这个场景 太特殊了;


ok,此时 两个办法:

1,找到一个 java可以调用的 浏览器内核,模拟 js在浏览器中执行,并获取 执行之后的结果。

2,老老实实 读 js代码,读懂后 找到 java的逻辑实现方式。

分工一下 两个方式 同时开始。


小插曲:

 为什么 不可以 把js代码放在jsp 或者html中,通过http的方式调用 获取返回的结果?

 首先 把js代码放在jsp 或者html中,获取执行结果。

jsp是在 服务器端就执行好了,js代码是浏览器中执行的;

http访问的是服务器,中间没有经过浏览器,就是说 页面中jsp的代码 执行了,但是js代码是不会有机会执行。

其次:http访问jsp或者html 返回的是服务器编译执行后的 结果代码,而这些 页面代码 在通过浏览器 执行后,呈现给用户;

用户才看到的是 华丽的页面;

所以这里 不清楚 web编程 和 html js css 解析渲染时机的 同学要注意了。


所以 把js代码 挂在 web容器中 再访问 是不能解决这个问题,因为 中间 同样没有浏览器内核。

虽然 以为在浏览器 访问 web地址 可以看到 结果;但是 用java http 后台访问 是不行滴。


我来继续寻找,浏览器内核的解决方式。


这时想起了 web自动化测试的方案,曾经看到测试的同事 用java编写 web自动化测试的脚本;

可以通过 java代码打开浏览器进行 元素定位,数值校验,逻辑登陆 结果校验。。


百度了一下:WEB 自动化测试工具 看到了 selenium web自动化测试工具套 

可以看看 这个文章 ,搭建环境示例 :http://blog.csdn.net/kash_chen007/article/details/40586067

逻辑是这样的:

java 通过 selenium 工具套件,结合 本地的 浏览器驱动 与 本地的 浏览器 进行交互,来 模拟操作;

达到的效果是:

java 通过 selenium   可以打开 chrome/firefox/IE等浏览器 (装不同的驱动,打开不同的浏览器)

java 通过 selenium  打开浏览器 输入网址,获取 浏览器解析之后的 结果。

还可以通过 元素定位 ,元素解析的方式,获取指定区域的 数据。


好了 ;

原理问题解决了,废话少说 ,上代码:

方式1,显示调用;

方式2,后台执行,用于部署到正式环境(这个方式不需要依赖驱动包和本地浏览器,有jar包即可)

/**
	 * 方式1;使用 ChromeDriver 显式调用 浏览器
	 * 当然这里 也可以用firefox IE等其他 浏览器和diver,下载不同的浏览器和驱动即可
	 * java 通过 selenium 工具套-->打开本地浏览器-->输入html文件地址(支持远程和本地)-->执行html中的脚本代码-->获取结果
	 * 这里 获取的结果 不是 html代码,而是 在浏览器解析完html js代码之后展示的信息(这里可能不太好理解,一会我画个图 单独描述下,html js jsp执行的时机问题)
	 * 详细描述:
	 * java通过 selenium 工具套 ,让js脚本在浏览器内核中执行,然后 获取返回结果
	 * 这样就解决了 java ScriptEngine 不支持浏览器内置对象的问题
	 * 如此一样js代码 与实际web运行的环境一样执行
	 * @throws Exception
	 */
	@Test
	public void testSelenium0() throws Exception {
		// 第一步:因为是 使用chromediver所以 需要先安装chrome浏览器,chromediver
		// 这个博客介绍的很详细,地址:https://www.testwo.com/blog/6931
		
		// 第二步:设置环境变量
		System.setProperty("webdriver.chrome.driver",
				"C:\\Program Files (x86)\\Google\\Chrome\\Application\\chromedriver.exe");
		ChromeDriver webDriver = new ChromeDriver();
		
		long start = System.currentTimeMillis();
		
		// 第三步:设置访问地址
		//----
		// 这里和浏览器 地址栏目 可以输入的 地址一样 支持 远程地址 和 本地地址
		//webDriver.get("http://www.51jdy.cn");
		//webDriver.get("http://localhost:8080/web/Noname2.html?pwd=98912&username=halou");
		webDriver.get("file:///Users/guangtaozhai/Documents/workspace/web/WebContent/Noname2.html?pwd=98912&username=halou");
		
		// 第四步:获取输出信息;html中的js代码执行后 在body中document.write()或者 赋值给body或者div
		// 元素定位 获取 <html> 中<body> 下面的 内容
		WebElement webElement = webDriver.findElement(By.xpath("/html/body"));
		System.out.println(webElement.getText());
		System.out.println("耗时:"+(System.currentTimeMillis()-start));
		///---
		webDriver.close();
	}
	
	/**
	 * 方式2:隐式调用(java 后台调用浏览器/selenium/webdriver)
	 * 因为 方式1 会打开本地浏览器,这样一是速度慢,二是 不满足后台执行的方式 比如 部署在linux服务器上以后
	 * 方式2 通过 selenium 提供的 HtmlUnitDriver 进行后台调用;执行效率大幅上升
	 * @throws Exception
	 */
	@Test
	public void testSelenium1() throws Exception {
		// 使用HtmlUnitDriver 是不需要 安装 浏览器 和 驱动支持
		HtmlUnitDriver webDriver = new HtmlUnitDriver();
		webDriver.setJavascriptEnabled(true); // 设置支持 js脚本解析 ,是不是跟 安卓的 webview设置很像?
		
		long start = System.currentTimeMillis();
		//---- 
		// 这里和浏览器 地址栏目 可以输入的 地址一样 支持 远程地址 和 本地地址
		//webDriver.get("http://www.51jdy.cn");
		//webDriver.get("http://localhost:8080/web/Noname2.html?pwd=98912&username=halou");
		webDriver.get("file:///Users/guangtaozhai/Documents/workspace/java2js/WebContent/Noname2.html?pwd=98912&username=halou");
				
		WebElement webElement = webDriver.findElement(By.xpath("/html/body"));
		System.out.println(webElement.getText() );
		System.out.println(System.currentTimeMillis()-start);
		///---
		webDriver.close();
	}

注意:

在实际开发的时候 最好 单独 起一个项目,发布成服务的方式;

1,单独项目 避免jar包冲突,在实际 开发的时候 我遇到了这个问题,企图通过maven 解决 也没有搞定。

2,发布成独立服务 避免了 性能问题 影响其他业务代码,这个 还是比较 耗费资源的。


项目测试代码git地址:https://git.oschina.net/s9/jdy-test

项目关键字:
java调用js
ScriptEngine
ScriptEngine不支持浏览器内置对象window,document等
selenium
Selenium Webdriver
web自动化测试
java打开浏览器执行并获取结果
java调用浏览器内核执行js
ChromeDriver
HtmlUnitDriver
java后台调用浏览器内核
web爬虫
selenium remote
Caused by: java.lang.ClassNotFoundException: org.openqa.selenium.remote.SessionNotFoundException

阅读更多
个人分类: 后台技术
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭