python爬虫获取script标签中的var变量值

小贩与白日梦

已于 2022-03-31 22:46:12 修改

阅读量7.1k

点赞数 6

分类专栏： python相关文章标签： python 爬虫

于 2022-03-31 22:45:44 首次发布

本文链接：https://blog.csdn.net/weixin_43186847/article/details/123882267

版权

本文介绍了在遇到JavaScript动态生成的网页时，如何使用Python爬虫获取script标签内的var变量值。具体方法包括解析和提取嵌套在script中的JSON数据。

摘要由CSDN通过智能技术生成

遇到问题：

资料调研过程中遇到js动态生成页面（在检查中可以看到需要爬取的数据，但是查看网页源代码中都是js动态生成，跟检查中的代码不一致），通过xpath在html中获取不到需要的数据，真正的数据在

在这里插入图片描述

所需要的数据为script中的var indData,数据类型为包含有许多dict的list

解决办法：

可以通过正则在script标签中截取数据，然后转化为json格式的数据。

代码如下：

#此处模拟获取到的html的text
    response_html_str = """
        <!DOCTYPE html>
        <html>
        <head>
        </head>
        <body>
            <script>
                var indData = <

最低0.47元/天解锁文章

小贩与白日梦

关注

6
点赞
踩
31

收藏

觉得还不错? 一键收藏
2
评论
python爬虫获取script标签中的var变量值

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档遇到问题：资料调研过程中遇到js动态生成页面（在检查中可以看到需要爬取的数据，但是查看网页源代码中都是js动态生成，跟检查中的代码不一致），通过xpath在html中获取不到需要的数据，真正的数据在所需要的数据为script中的var indData,数据类型为包含有许多dict的list解决办法：可以通过正则在script标签中截取数据，然后转化为json格式的数据。代码如下：#此处模拟获取到的html的text .
复制链接

扫一扫