[Python程序设计] 用Scrapy爬取学堂在线计算机类课程页面的信息

最新推荐文章于 2022-05-06 15:55:14 发布

Lupinus_Linn

最新推荐文章于 2022-05-06 15:55:14 发布

阅读量2.5k

点赞数 14

分类专栏： Python程序设计

本文链接：https://blog.csdn.net/weixin_43873801/article/details/109689852

版权

爬虫仅供学习交流使用，请勿用于商业用途，请勿高频爬取数据。由使用爬虫产生的纠纷笔者概不负责。

实验报告原文节选

2.2 遇到障碍：JS动态渲染页面

编写spider.py时遇到了诡异的问题，xpath可以找到符合//*[@id = 'app']的一个标签，但是其是空的，内部没有任何内容。

打印response.text，格式化html，得到的内容如下

<!DOCTYPE html>
<html>
  
  .....
    
  <body ondragstart="return!1">
    <div id="app"></div>
    <script>var hostName = window.location.hostname,
      _mtac = {
      
        performanceMonitor: 1,
        senseQuery: 1
      }; !
      function() {
      
        var e = document.createElement("script");
        e.src = "//pingjs.qq.com/h5/stats.js?v2.0.4",
        e.setAttribute("name", "MTAH5"),
        -1 != hostName.indexOf("jsmh.xuetangx.com") || -1 != hostName.indexOf("www.bnuonline.com") ? e.setAttribute("sid", "500693653") : (e.setAttribute("sid", "500676615"), e.setAttribute("cid", "500679396"));
        var t = document.getElementsByTagName("script")[0];
        t.parentNode.insertBefore(e, t)
      }

最低0.47元/天解锁文章

Lupinus_Linn

关注

14
点赞
踩
27

收藏

觉得还不错? 一键收藏
2
评论
[Python程序设计] 用Scrapy爬取学堂在线计算机类课程页面的信息

爬虫仅供学习交流使用，请勿用于商业用途，请勿高频爬取数据。由使用爬虫产生的纠纷笔者概不负责。实验报告原文节选2.2 遇到障碍：JS动态渲染页面编写spider.py时遇到了诡异的问题，xpath可以找到符合//*[@id = 'app']的一个标签，但是其是空的，内部没有任何内容。打印response.text，格式化html，得到的内容如下<!DOCTYPE html><html> ..... <body ondragstart
复制链接

扫一扫