python爬虫获取script标签中的var变量值
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档遇到问题:资料调研过程中遇到js动态生成页面(在检查中可以看到需要爬取的数据,但是查看网页源代码中都是js动态生成,跟检查中的代码不一致),通过xpath在html中获取不到需要的数据,真正的数据在所需要的数据为script中的var indData,数据类型为包含有许多dict的list解决办法:可以通过正则在script标签中截取数据,然后转化为json格式的数据。代码如下:#此处模拟获取到的html的text .
原创
2022-03-31 22:45:44 ·
7008 阅读 ·
2 评论