遇到问题:
资料调研过程中遇到js动态生成页面(在检查中可以看到需要爬取的数据,但是查看网页源代码中都是js动态生成,跟检查中的代码不一致),通过xpath在html中获取不到需要的数据,真正的数据在
所需要的数据为script中的var indData,数据类型为包含有许多dict的list
解决办法:
可以通过正则在script标签中截取数据,然后转化为json格式的数据。
代码如下:
#此处模拟获取到的html的text
response_html_str = """
<!DOCTYPE html>
<html>
<head>
</head>
<body>
<script>
var indData = <