js html正则解析json,如何使用Python提取HTML页面javascript块中定义的JSON对象？

小编典典

BeautifulSoup是一个html解析器；您还需要一个JavaScript解析器。顺便说一句，某些javascript对象文字是无效的json(尽管在您的示例中，文字也是有效的json对象)。

在简单的情况下，您可以：

假设这window.blog...是一行或';'对象内部没有任何内容，并使用简单的字符串操作或正则表达式提取javascript对象文字

假设该字符串是有效的json并使用json模块对其进行解析

例：

#!/usr/bin/env python

html = """

extract javascript object as json

// ..

window.blog.data = {"activity":{"type":"read"}};

// ..

some other html here

"""

import json

import re

from bs4 import BeautifulSoup # $ pip install beautifulsoup4

soup = BeautifulSoup(html)

script = soup.find('script', text=re.compile('window\.blog\.data'))

json_text = re.search(r'^\s*window\.blog\.data\s*=\s*({.*?})\s*;\s*$',

script.string, flags=re.DOTALL | re.MULTILINE).group(1)

data = json.loads(json_text)

assert data['activity']['type'] == 'read'

如果假设不正确，则代码将失败。

为了放松第二个假设，可以使用JavaScript解析器代替正则表达式，例如，slimit(由@approximatenumber建议)：

from slimit import ast # $ pip install slimit

from slimit.parser import Parser as JavascriptParser

from slimit.visitors import nodevisitor

soup = BeautifulSoup(html, 'html.parser')

tree = JavascriptParser().parse(soup.script.string)

obj = next(node.right for node in nodevisitor.visit(tree)

if (isinstance(node, ast.Assign) and

node.left.to_ecma() == 'window.blog.data'))

# HACK: easy way to parse the javascript object literal

data = json.loads(obj.to_ecma()) # NOTE: json format may be slightly different

assert data['activity']['type'] == 'read'

无需将对象文字(obj)视为json对象。为了获得必要的信息，obj可以像其他ast节点一样递归访问。它将允许支持任意javascript代码(可由解析slimit)。

2020-12-20