【爬虫】巧用 js2py （附带bug解决）

项目地址： https://github.com/PiotrDabkowski/Js2Py

项目介绍：（根据github）此项目完全用Python编写，支持Python2/3。可以在Python中执行JS代码，并获取JS对象值。

目前支持ES5，ES6仍在测试中。

一句话解释：一个纯Python的JS解释器。

推荐指数：四颗星  （博主用过其他的库如execjs, pyv8，多多少少都没有这个库的功能完备）

安装：pip3 install js2py

 

本文主要介绍js2py的EvalJs对象，因为它是功能最完备的。

1. 执行简单的JS代码

import js2py
js = """
    a =1 
    b =1
    function f(x){
        return x*x
    }
    """
ctx = js2py.EvalJs()  # 初始化context对象
ctx.execute(js)  # 执行js
print(ctx.a)  # >>1   获取js变量
print(ctx.f(9))  # >>81  执行js函数

说明：EvalJs对象支持在同一个上下文中执行多次多段js代码，并能通过属性的方式获取js变量，非常好用。

2. Python与JS对象交互

import js2py
js = """
    function f(arg1, arg2){
        return arg1+arg2
    }
    end = f(a,b)
    """
ctx = js2py.EvalJs(context={'a':1, 'b':2})  # 初始化context对象,通过字典形式传入python对象与js交互
ctx.execute(js)  # 执行js
print(ctx.end)  # 3

3. 在JS代码中引入外部JS库(需要安装nodejs环境)

import js2py
js = """var path = require('path')
        p=path.join('/foo/bar', 'file')
        """
ctx = js2py.EvalJs(enable_require=True)  # 开启require功能
ctx.execute(js)  # 执行js
print(ctx.p)  # /foo/bar/file
js = """p = p+p"""
ctx.execute(js)  # 执行js
print(ctx.p)  # /foo/bar/file/foo/bar/file

关于require在js2py中使用有个bug，会在最后说明。

4. Python与JS混编

CryptoJS = js2py.require('crypto-js')
data = [{'id':1}, {'id':2}]
JSON = js2py.eval_js('JSON')

ciphertext = CryptoJS.AES.encrypt(JSON.stringify(data), 'secret key 123')
bytes = CryptoJS.AES.decrypt(ciphertext.toString(), 'secret key 123')
decryptedData = JSON.parse(bytes.toString(CryptoJS.enc.Utf8)).to_list()

print(decryptedData)  # [{'id':1}, {'id':2}]

5. 最后

在对js2py这个库的摸索使用中，发现了不少的问题(bug)，发现作者最后一次处理issue是在2018年11月了，超过20个issue未处理，博主也把遇到的问题提了两个上去，不知道能不能收到回复。

博主修复的bug：在windows 10 上使用这个库执行带有require语句的JS代码时遇到的错误

Could not link required node_modules

解决：经过反复测试与检查，发现是subprocess库在windows上执行shell命令有bug。具体是这样，在Python包安装路径下的js2py/node_import.py的17行有以下代码：

assert subprocess.call(
        'cd %s;npm install babel-core babel-cli babel-preset-es2015 babel-polyfill babelify browserify browserify-shim'
        % repr(DIRNAME),
        shell=True,
        cwd=DIRNAME) == 0, 'Could not link required node_modules'

这句代码时在windows上安装js依赖包，在cmd下执行时没有问题的，但是通过subprocess执行就有问题，问题在于subprocess不能正确执行带分号的命令，这就导致在执行require JS语句时一直报这个错，但我估计在linux环境是没有问题的。

修改：

assert subprocess.call(
        'npm install babel-core babel-cli babel-preset-es2015 babel-polyfill babelify browserify browserify-shim',
        shell=True,
        cwd=DIRNAME) == 0, 'Could not link required node_modules'

其实这里作者的cd命令是多余的，因为cwd参数已经指定了命令的执行路径，无需再cd进入路径。

除了这里，还要修改这个文件第79行，一样的问题。

最后友情提醒，如果你的环境不能科学上网，你最好修改一下npm的源：

 npm config set registry https://registry.npm.taobao.org

避免网络问题导致不必要的麻烦，因为执行的JS代码依赖外部库时，这个库会在后台执行npm install操作(仅一次)。

其他：

因为博主也是搞爬虫的，所有有时会用到这样的库，这次就做一下完整的记录，助己助人。

本博客欢迎留言 :)