在学习爬虫的过程中会经常碰到要爬取的页面需要加载js才能显示。可以用python的一个第三方库 pyexecjs 在pyton中执行js代码 (前提:不要求会写js,但是得能看懂)
pyexecjs 安装
pip install PyExecJS
因为要执行js代码所以需要安装执行js代码所需要的环境,这里使用的是node.js (可自行下载),下载并添加到环境变量方便python调用
一个小例子
- python执行 js 函数
import execjs
js_str = '''
function add(x, y){
return x + y;
}
'''
test = execjs.compile(js_str)
# call 即调用js函数,add为js_str中的函数名,1,2为所需要的参数。
result = test.call('add', 1, 2)
print(result)