爬虫-动态JavaScript渲染

爬虫-动态JavaScript渲染

问题

  1. 能够成功爬取

  2. 但是爬取下来的html文件永远都是一个“JavaScript不启用系统不能运行”的页面

<body>
<noscript><strong>We're sorry but system doesn't work properly without JavaScript enabled. Please enable it to
    continue.</strong> <strong>非常抱歉! JavaScript不启用系统不能运行。请启用后继续访问。</strong></noscript>
<div id=app></div>
<script src=/Cesium/Cesium.js></script>
<script src=http://api.tianditu.gov.cn/cdn/plugins/cesium/cesiumTdt.js></script>
<script src="http://api.tianditu.gov.cn/api?v=4.0&tk=f42b689639dba77b78dad5b690f2b6d0"></script>
<script src=http://lbs.tianditu.gov.cn/api/js4.0/opensource/openlibrary/HeatmapOverlay.js></script>
<script src=/js/chunk-vendors.a1d77c29.js></script>
<script src=/js/app.3b8db23e.js></script>
</body>

问题解决

参考小白学 Python 爬虫(9):爬虫基础 - 掘金 (juejin.cn)

当页面需要动态的加载渲染的时候,爬取下来的html就不是最终的html,所以显示永远是这个页面

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
爬虫是一种程序,它可以模拟人类的行为来访问网页并获取网页内容。在爬取网页的过程中,有些网页使用了JavaScript来进行动态渲染,这就需要爬虫能够处理JavaScript渲染才能获取到完整的网页内容。引用中的研究结果表明,谷歌爬虫是可以处理JavaScript的,因此可以说爬虫也可以处理JavaScript渲染的网页。 Scrapy是一个非常流行的Python爬虫框架,它可以用于爬取各种类型的网页。引用指出,Scrapy已经解决了动态网页渲染的问题,因此可以应对大部分的网页,甚至可以处理一些图形验证问题。这意味着Scrapy可以处理JavaScript渲染的网页,并且能够应对一定程度的动态网页。 然而,与传统的爬虫一样,Scrapy爬虫也是通过访问服务器端的网页来获取内容,然后通过对网页内容的分析来提取数据。引用指出,由于JavaScript渲染动态网页与网页文件内容不同,传统爬虫可能在处理这种动态网页时遇到一些困难。因此,对于完全由JavaScript渲染动态网页,爬虫可能会有一定的局限性。 综上所述,爬虫通常可以处理JavaScript渲染的网页,尤其是使用了Scrapy框架的爬虫。然而,对于完全由JavaScript渲染动态网页,爬虫可能会遇到一些挑战。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [Google 爬虫如何抓取 JavaScript 的内容](https://download.csdn.net/download/weixin_38547421/14817661)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [爬虫遇到js动态渲染问题](https://blog.csdn.net/zhongjianboy/article/details/123648490)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值