weixin_43186847的博客

原创 python爬虫获取script标签中的var变量值

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档遇到问题：资料调研过程中遇到js动态生成页面（在检查中可以看到需要爬取的数据，但是查看网页源代码中都是js动态生成，跟检查中的代码不一致），通过xpath在html中获取不到需要的数据，真正的数据在所需要的数据为script中的var indData,数据类型为包含有许多dict的list解决办法：可以通过正则在script标签中截取数据，然后转化为json格式的数据。代码如下：#此处模拟获取到的html的text .