Python爬虫爬取动态网页

最新推荐文章于 2024-08-23 12:39:49 发布
最新推荐文章于 2024-08-23 12:39:49 发布
阅读量1.3k 收藏 2
点赞数 1
分类专栏： 爬虫
原文链接：https://blog.csdn.net/guanmaoning/article/details/80158554
版权

系统环境：


    
    
  1. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        操作系统：Windows8.1专业版 64bit        
       
       
    
      
      
  2. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        Python：anaconda、Python2.7        
       
       
    
      
      
  3. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        Python modules:requests、random、json

Background:

对于静态网页，我们只需要把网页地址栏中的url传到get请求中就可以轻松地获取到网页的数据。但是，我们经常会遇到直接把网页地址栏中的url传到get请求中无法直接获取到网页的数据的情况，而且右键查看网页源代码也无法看到网页的数据，同时点击第二页、第三页等进行翻页的时候，网页地址栏中的url也没变，这些就是动态网页，例如：http://www.neeq.com.cn/disclosure/supervise.html 。

解决办法：

对于动态网页抓取的关键是先分析网页数据获取和跳转的逻辑，再去写代码。接下来，将以上面的那个网页为例，介绍如何利用Python来爬取动态网页的数据。

1、分析网页数据请求和跳转的逻辑：

如上图所示，我们打开网页之后，按“F12”进入chrome浏览器的开发工具，点击“Network”->XHR（有时候是JS），然后我们点击上面的页面跳转栏的“2”跳转到第二页，然后我们可以看到开发工具左边的框里出现了一个新的请求，即左下图的最下面那一行（蓝色那条），我们用鼠标点击它，就可以在右边显示出该请求的headers的相关信息。在Headers中我们可以知道：Requests URL就是该网页真正请求的URL，而且由Request Method可以知道这是一个post请求，而下面的Request Headers就是该请求所需要设置的headers参数。因为这是一个post请求，所以我们要查看一下post请求提交了那些数据，所以我们可以在右边的Headers中继续往下拉来查看。

所以由上图的Form Data我们可以知道，post请求上传了两个关键的数据：disclosureType和page，到此我们就成功地分析了该动态网页数据请求和跳转的逻辑，接下来通过编程来实现爬取该网页的数据。

2、Coding:


    
    
  1. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # -*- coding: utf-8 -*-
       
       
    
      
      
  2. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        """
       
       
    
      
      
  3. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        Created on Tue May 01 18:52:49 2018
       
       
    
      
      
  4. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        
       
       
    
      
      
  5. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        @author: gmn
       
       
    
      
      
  6. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        """
       
       
    
      
      
  7. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #导入requests module
       
       
    
      
      
  8. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        import requests
       
       
    
      
      
  9. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #导入random module    
       
       
    
      
      
  10. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        import random
       
       
    
      
      
  11. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #导入json module
       
       
    
      
      
  12. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        import json
       
       
    
      
      
  13. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
     
       
       
    
      
      
  14. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # =============================================================================
       
       
    
      
      
  15. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # 应对网站反爬虫的相关设置
       
       
    
      
      
  16. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # =============================================================================
       
       
    
      
      
  17. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #User-Agent列表，这个可以自己在网上搜到，用于伪装浏览器的User Agent
       
       
    
      
      
  18. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        USER_AGENTS = [
       
       
    
      
      
  19. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1"
       
       
    
      
      
  20. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
       
       
    
      
      
  21. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
       
       
    
      
      
  22. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
       
       
    
      
      
  23. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11",
       
       
    
      
      
  24. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",
       
       
    
      
      
  25. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
       
       
    
      
      
  26. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
       
       
    
      
      
  27. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Opera/9.80 (Windows NT 5.1; U; zh-cn) Presto/2.9.168 Version/11.50",
       
       
    
      
      
  28. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0",
       
       
    
      
      
  29. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows NT 5.2) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.122 Safari/534.30",
       
       
    
      
      
  30. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11",
       
       
    
      
      
  31. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER",
       
       
    
      
      
  32. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)",
       
       
    
      
      
  33. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; 360SE)",
       
       
    
      
      
  34. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0",
       
       
    
      
      
  35. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0)",
       
       
    
      
      
  36. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2)",
       
       
    
      
      
  37. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)",
       
       
    
      
      
  38. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT)",
       
       
    
      
      
  39. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1",
       
       
    
      
      
  40. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070309 Firefox/2.0.0.3",
       
       
    
      
      
  41. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070803 Firefox/1.5.0.12 "
       
       
    
      
      
  42. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
                ]
       
       
    
      
      
  43. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #IP地址列表，用于设置IP代理
       
       
    
      
      
  44. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        IP_AGENTS = [
       
       
    
      
      
  45. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "http://58.240.53.196:8080", 
       
       
    
      
      
  46. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "http://219.135.99.185:8088",
       
       
    
      
      
  47. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "http://117.127.0.198:8080",
       
       
    
      
      
  48. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "http://58.240.53.194:8080"  
       
       
    
      
      
  49. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        ]
       
       
    
      
      
  50. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
     
       
       
    
      
      
  51. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #设置IP代理    
       
       
    
      
      
  52. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        proxies={
        
        "http":random.choice(IP_AGENTS)} 
       
       
    
      
      
  53. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
     
       
       
    
      
      
  54. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
     
       
       
    
      
      
  55. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # =============================================================================
       
       
    
      
      
  56. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # 上面的设置是为了应对网站的反爬虫，与具体的网页爬取无关
       
       
    
      
      
  57. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # =============================================================================
       
       
    
      
      
  58. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
     
       
       
    
      
      
  59. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # =============================================================================
       
       
    
      
      
  60. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # 下面这些是根据刚才第一步的分析来设置的，所以下面需要按照第一步的分析来设置对应的参数。
       
       
    
      
      
  61. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # 根据第一步图片的右下角部分来设置Cookie、url、headers和post参数
       
       
    
      
      
  62. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # =============================================================================
       
       
    
      
      
  63. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #设置cookie
       
       
    
      
      
  64. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        Cookie = 
        
        "Hm_lvt_b58fe8237d8d72ce286e1dbd2fc8308c=1525162758; BIGipServerNEEQ_8000-NEW=83952564.16415.0000; JSESSIONID=E50D2B8270D728502754D4330CB0E275; Hm_lpvt_b58fe8237d8d72ce286e1dbd2fc8308c=1525165761"
       
       
    
      
      
  65. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #设置动态js的url
       
       
    
      
      
  66. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        url = 
        
        'http://www.neeq.com.cn/disclosureInfoController/infoResult.do?callback=jQuery18307528463705200819_1525173495230'
       
       
    
      
      
  67. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #设置requests请求的 headers
       
       
    
      
      
  68. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        headers = {
       
       
    
      
      
  69. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
        
        
        'User-agent': random.choice(USER_AGENTS), 
        
        #设置get请求的User-Agent，用于伪装浏览器UA 
       
       
    
      
      
  70. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
        
        
        'Cookie': Cookie,
       
       
    
      
      
  71. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
        
        
        'Connection': 
        
        'keep-alive',
       
       
    
      
      
  72. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
        
        
        'Accept': 
        
        'text/javascript, application/javascript, application/ecmascript, application/x-ecmascript, */*; q=0.01',
       
       
    
      
      
  73. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
        
        
        'Accept-Encoding': 
        
        'gzip, deflate',
       
       
    
      
      
  74. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
        
        
        'Accept-Language': 
        
        'zh-CN,zh;q=0.9',
       
       
    
      
      
  75. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
        
        
        'Host': 
        
        'www.neeq.com.cn',
       
       
    
      
      
  76. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
        
        
        'Referer': 
        
        'http://www.neeq.com.cn/disclosure/supervise.html'
       
       
    
      
      
  77. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        }
       
       
    
      
      
  78. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #设置页面索引
       
       
    
      
      
  79. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        pageIndex=
        
        0
       
       
    
      
      
  80. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #设置url post请求的参数
       
       
    
      
      
  81. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        data={
       
       
    
      
      
  82. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
          
        
        'page':pageIndex,
       
       
    
      
      
  83. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
          
        
        'disclosureType':
        
        8
       
       
    
      
      
  84. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
              }
       
       
    
      
      
  85. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
     
       
       
    
      
      
  86. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #requests post请求
       
       
    
      
      
  87. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        req=requests.post(url,data=data,headers=headers,proxies=proxies)
       
       
    
      
      
  88. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        print(req.content) 
        
        #通过打印req.content，我们可以知道post请求返回的是json数据，而且该数据是一个字符串类型的
       
       
    
      
      
  89. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #获取包含json数据的字符串
       
       
    
      
      
  90. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #str_data=req.content
       
       
    
      
      
  91. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        ##获取json字符串数据
       
       
    
      
      
  92. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #str_json=str_data[8:-2]
       
       
    
      
      
  93. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #print(str_json)
       
       
    
      
      
  94. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        ##把json数据转成dict类型
       
       
    
      
      
  95. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #json_Info=json.loads(str_json)

运行结果如下：

我们可以看到返回的数据req.content为json格式的数据，但是json数据的前面和后面分别是"jQuery18307528463705200819_1525173495230(["和"])"，所以我们要去掉这两部分，留下中间的json格式的数据。在此之前，我们可以发现“jQuery18307528463705200819_1525173495230”就是我们的url参数“callback”的值，所以为了去掉jQuery后面的一大串数字，我们可以把“callback”的值改成“jQuery”（当然你也可以改成其他的值），所以url变为'http://www.neeq.com.cn/disclosureInfoController/infoResult.do?callback=jQuery'，在此运行代码，可以得到：

而且我们发现req.content是一个字符串类型的数据，所以我们可以用：


    
    
  1. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #获取json字符串数据
       
       
    
      
      
  2. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        str_json=str_data[
        
        8:
        
        -2]

来获取我们需要的中间的那部分json数据，此时代码如下：


    
    
  1. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # -*- coding: utf-8 -*-
       
       
    
      
      
  2. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        """
       
       
    
      
      
  3. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        Created on Tue May 01 18:52:49 2018
       
       
    
      
      
  4. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        
       
       
    
      
      
  5. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        @author: gmn
       
       
    
      
      
  6. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        """
       
       
    
      
      
  7. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #导入requests module
       
       
    
      
      
  8. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        import requests
       
       
    
      
      
  9. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #导入random module    
       
       
    
      
      
  10. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        import random
       
       
    
      
      
  11. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #导入json module
       
       
    
      
      
  12. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        import json
       
       
    
      
      
  13. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
     
       
       
    
      
      
  14. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # =============================================================================
       
       
    
      
      
  15. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # 应对网站反爬虫的相关设置
       
       
    
      
      
  16. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # =============================================================================
       
       
    
      
      
  17. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #User-Agent列表，这个可以自己在网上搜到，用于伪装浏览器的User Agent
       
       
    
      
      
  18. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        USER_AGENTS = [
       
       
    
      
      
  19. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1"
       
       
    
      
      
  20. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
       
       
    
      
      
  21. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
       
       
    
      
      
  22. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
       
       
    
      
      
  23. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11",
       
       
    
      
      
  24. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",
       
       
    
      
      
  25. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
       
       
    
      
      
  26. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
       
       
    
      
      
  27. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Opera/9.80 (Windows NT 5.1; U; zh-cn) Presto/2.9.168 Version/11.50",
       
       
    
      
      
  28. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0",
       
       
    
      
      
  29. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows NT 5.2) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.122 Safari/534.30",
       
       
    
      
      
  30. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11",
       
       
    
      
      
  31. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER",
       
       
    
      
      
  32. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)",
       
       
    
      
      
  33. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; 360SE)",
       
       
    
      
      
  34. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0",
       
       
    
      
      
  35. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0)",
       
       
    
      
      
  36. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2)",
       
       
    
      
      
  37. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)",
       
       
    
      
      
  38. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT)",
       
       
    
      
      
  39. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1",
       
       
    
      
      
  40. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070309 Firefox/2.0.0.3",
       
       
    
      
      
  41. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070803 Firefox/1.5.0.12 "
       
       
    
      
      
  42. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
                ]
       
       
    
      
      
  43. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #IP地址列表，用于设置IP代理
       
       
    
      
      
  44. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        IP_AGENTS = [
       
       
    
      
      
  45. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "http://58.240.53.196:8080", 
       
       
    
      
      
  46. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "http://219.135.99.185:8088",
       
       
    
      
      
  47. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "http://117.127.0.198:8080",
       
       
    
      
      
  48. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "http://58.240.53.194:8080"  
       
       
    
      
      
  49. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        ]
       
       
    
      
      
  50. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
     
       
       
    
      
      
  51. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #设置IP代理    
       
       
    
      
      
  52. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        proxies={
        
        "http":random.choice(IP_AGENTS)} 
       
       
    
      
      
  53. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
     
       
       
    
      
      
  54. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
     
       
       
    
      
      
  55. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # =============================================================================
       
       
    
      
      
  56. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # 上面的设置是为了应对网站的反爬虫，与具体的网页爬取无关
       
       
    
      
      
  57. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # =============================================================================
       
       
    
      
      
  58. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
     
       
       
    
      
      
  59. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # =============================================================================
       
       
    
      
      
  60. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # 下面这些是根据刚才第一步的分析来设置的，所以下面需要按照第一步的分析来设置对应的参数。
       
       
    
      
      
  61. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # 根据第一步图片的右下角部分来设置Cookie、url、headers和post参数
       
       
    
      
      
  62. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # =============================================================================
       
       
    
      
      
  63. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #设置cookie
       
       
    
      
      
  64. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        Cookie = 
        
        "Hm_lvt_b58fe8237d8d72ce286e1dbd2fc8308c=1525162758; BIGipServerNEEQ_8000-NEW=83952564.16415.0000; JSESSIONID=E50D2B8270D728502754D4330CB0E275; Hm_lpvt_b58fe8237d8d72ce286e1dbd2fc8308c=1525165761"
       
       
    
      
      
  65. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #设置动态js的url
       
       
    
      
      
  66. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        url = 
        
        'http://www.neeq.com.cn/disclosureInfoController/infoResult.do?callback=jQuery'
       
       
    
      
      
  67. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #设置requests请求的 headers
       
       
    
      
      
  68. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        headers = {
       
       
    
      
      
  69. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
        
        
        'User-agent': random.choice(USER_AGENTS), 
        
        #设置get请求的User-Agent，用于伪装浏览器UA 
       
       
    
      
      
  70. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
        
        
        'Cookie': Cookie,
       
       
    
      
      
  71. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
        
        
        'Connection': 
        
        'keep-alive',
       
       
    
      
      
  72. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
        
        
        'Accept': 
        
        'text/javascript, application/javascript, application/ecmascript, application/x-ecmascript, */*; q=0.01',
       
       
    
      
      
  73. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
        
        
        'Accept-Encoding': 
        
        'gzip, deflate',
       
       
    
      
      
  74. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
        
        
        'Accept-Language': 
        
        'zh-CN,zh;q=0.9',
       
       
    
      
      
  75. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
        
        
        'Host': 
        
        'www.neeq.com.cn',
       
       
    
      
      
  76. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
        
        
        'Referer': 
        
        'http://www.neeq.com.cn/disclosure/supervise.html'
       
       
    
      
      
  77. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        }
       
       
    
      
      
  78. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #设置页面索引
       
       
    
      
      
  79. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        pageIndex=
        
        0
       
       
    
      
      
  80. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #设置url post请求的参数
       
       
    
      
      
  81. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        data={
       
       
    
      
      
  82. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
          
        
        'page':pageIndex,
       
       
    
      
      
  83. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
          
        
        'disclosureType':
        
        8
       
       
    
      
      
  84. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
              }
       
       
    
      
      
  85. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
     
       
       
    
      
      
  86. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #requests post请求
       
       
    
      
      
  87. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        req=requests.post(url,data=data,headers=headers,proxies=proxies)
       
       
    
      
      
  88. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #print(req.content) #通过打印req.content，我们可以知道post请求返回的是json数据，而且该数据是一个字符串类型的
       
       
    
      
      
  89. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #获取包含json数据的字符串
       
       
    
      
      
  90. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        str_data=req.content
       
       
    
      
      
  91. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #获取json字符串数据
       
       
    
      
      
  92. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        str_json=str_data[
        
        8:
        
        -2]
       
       
    
      
      
  93. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        print(str_json)
       
       
    
      
      
  94. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #把json数据转成dict类型
       
       
    
      
      
  95. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #json_Info=json.loads(str_json)

运行结果如下：

我们把str_json打印出来的字符串复制粘贴到网上的json在线解析工具来分析该数据的规律，结果如下：

由右图，我们可以发现json数据的规律。接下来，我们先把str_json转成dict字典类型的数据：


    
    
  1. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #把json数据转成dict类型
       
       
    
      
      
  2. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        json_Info=json.loads(str_json)

然后就可以通过字典数据的相关操作来获取网页的相关数据了。

完整代码如下：


    
    
  1. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # -*- coding: utf-8 -*-
       
       
    
      
      
  2. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        """
       
       
    
      
      
  3. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        Created on Tue May 01 18:52:49 2018
       
       
    
      
      
  4. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        
       
       
    
      
      
  5. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        @author: gmn
       
       
    
      
      
  6. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        """
       
       
    
      
      
  7. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #导入requests module
       
       
    
      
      
  8. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        import requests
       
       
    
      
      
  9. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #导入random module    
       
       
    
      
      
  10. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        import random
       
       
    
      
      
  11. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #导入json module
       
       
    
      
      
  12. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        import json
       
       
    
      
      
  13. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
     
       
       
    
      
      
  14. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # =============================================================================
       
       
    
      
      
  15. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # 应对网站反爬虫的相关设置
       
       
    
      
      
  16. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # =============================================================================
       
       
    
      
      
  17. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #User-Agent列表，这个可以自己在网上搜到，用于伪装浏览器的User Agent
       
       
    
      
      
  18. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        USER_AGENTS = [
       
       
    
      
      
  19. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1"
       
       
    
      
      
  20. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
       
       
    
      
      
  21. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
       
       
    
      
      
  22. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
       
       
    
      
      
  23. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11",
       
       
    
      
      
  24. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",
       
       
    
      
      
  25. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
       
       
    
      
      
  26. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
       
       
    
      
      
  27. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Opera/9.80 (Windows NT 5.1; U; zh-cn) Presto/2.9.168 Version/11.50",
       
       
    
      
      
  28. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0",
       
       
    
      
      
  29. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows NT 5.2) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.122 Safari/534.30",
       
       
    
      
      
  30. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11",
       
       
    
      
      
  31. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER",
       
       
    
      
      
  32. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)",
       
       
    
      
      
  33. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; 360SE)",
       
       
    
      
      
  34. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0",
       
       
    
      
      
  35. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0)",
       
       
    
      
      
  36. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2)",
       
       
    
      
      
  37. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)",
       
       
    
      
      
  38. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT)",
       
       
    
      
      
  39. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1",
       
       
    
      
      
  40. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070309 Firefox/2.0.0.3",
       
       
    
      
      
  41. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070803 Firefox/1.5.0.12 "
       
       
    
      
      
  42. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
                ]
       
       
    
      
      
  43. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #IP地址列表，用于设置IP代理
       
       
    
      
      
  44. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        IP_AGENTS = [
       
       
    
      
      
  45. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "http://58.240.53.196:8080", 
       
       
    
      
      
  46. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "http://219.135.99.185:8088",
       
       
    
      
      
  47. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "http://117.127.0.198:8080",
       
       
    
      
      
  48. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
            
        
        "http://58.240.53.194:8080"  
       
       
    
      
      
  49. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        ]
       
       
    
      
      
  50. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
     
       
       
    
      
      
  51. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #设置IP代理    
       
       
    
      
      
  52. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        proxies={
        
        "http":random.choice(IP_AGENTS)} 
       
       
    
      
      
  53. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
     
       
       
    
      
      
  54. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
     
       
       
    
      
      
  55. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # =============================================================================
       
       
    
      
      
  56. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # 上面的设置是为了应对网站的反爬虫，与具体的网页爬取无关
       
       
    
      
      
  57. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # =============================================================================
       
       
    
      
      
  58. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
     
       
       
    
      
      
  59. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # =============================================================================
       
       
    
      
      
  60. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # 下面这些是根据刚才第一步的分析来设置的，所以下面需要按照第一步的分析来设置对应的参数。
       
       
    
      
      
  61. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # 根据第一步图片的右下角部分来设置Cookie、url、headers和post参数
       
       
    
      
      
  62. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        # =============================================================================
       
       
    
      
      
  63. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #设置cookie
       
       
    
      
      
  64. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        Cookie = 
        
        "Hm_lvt_b58fe8237d8d72ce286e1dbd2fc8308c=1525162758; BIGipServerNEEQ_8000-NEW=83952564.16415.0000; JSESSIONID=E50D2B8270D728502754D4330CB0E275; Hm_lpvt_b58fe8237d8d72ce286e1dbd2fc8308c=1525165761"
       
       
    
      
      
  65. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #设置动态js的url
       
       
    
      
      
  66. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        url = 
        
        'http://www.neeq.com.cn/disclosureInfoController/infoResult.do?callback=jQuery'
       
       
    
      
      
  67. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #设置requests请求的 headers
       
       
    
      
      
  68. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        headers = {
       
       
    
      
      
  69. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
        
        
        'User-agent': random.choice(USER_AGENTS), 
        
        #设置get请求的User-Agent，用于伪装浏览器UA 
       
       
    
      
      
  70. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
        
        
        'Cookie': Cookie,
       
       
    
      
      
  71. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
        
        
        'Connection': 
        
        'keep-alive',
       
       
    
      
      
  72. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
        
        
        'Accept': 
        
        'text/javascript, application/javascript, application/ecmascript, application/x-ecmascript, */*; q=0.01',
       
       
    
      
      
  73. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
        
        
        'Accept-Encoding': 
        
        'gzip, deflate',
       
       
    
      
      
  74. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
        
        
        'Accept-Language': 
        
        'zh-CN,zh;q=0.9',
       
       
    
      
      
  75. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
        
        
        'Host': 
        
        'www.neeq.com.cn',
       
       
    
      
      
  76. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
        
        
        'Referer': 
        
        'http://www.neeq.com.cn/disclosure/supervise.html'
       
       
    
      
      
  77. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        }
       
       
    
      
      
  78. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #设置页面索引
       
       
    
      
      
  79. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        pageIndex=
        
        0
       
       
    
      
      
  80. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #设置url post请求的参数
       
       
    
      
      
  81. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        data={
       
       
    
      
      
  82. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
          
        
        'page':pageIndex,
       
       
    
      
      
  83. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
          
        
        'disclosureType':
        
        8
       
       
    
      
      
  84. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
              }
       
       
    
      
      
  85. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
     
       
       
    
      
      
  86. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #requests post请求
       
       
    
      
      
  87. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        req=requests.post(url,data=data,headers=headers,proxies=proxies)
       
       
    
      
      
  88. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #print(req.content) #通过打印req.content，我们可以知道post请求返回的是json数据，而且该数据是一个字符串类型的
       
       
    
      
      
  89. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #获取包含json数据的字符串
       
       
    
      
      
  90. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        str_data=req.content
       
       
    
      
      
  91. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #获取json字符串数据
       
       
    
      
      
  92. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        str_json=str_data[
        
        8:
        
        -2]
       
       
    
      
      
  93. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #print(str_json)
       
       
    
      
      
  94. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        #把json数据转成dict类型
       
       
    
      
      
  95. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        json_Info=json.loads(str_json)

注意事项：

有时候我们按照以上步骤，仍然难以准确的找到数据访问的URL的时候，可以考虑使用selenium + 浏览器driver (如：chromedriver)的方式来爬取动态网页，不过这种方式比较耗时间。

Python爬虫——简单网页抓取（实战案例）小白篇_python爬虫爬取网页数据
2401_84562810的博客
05-02 1748
pythonkw = input(‘请输入要翻译的英文单词：’)data = {‘kw’: kw# 由于百度翻译没有反扒措施，因此可以不写请求头‘referer’: ‘百度翻译-200种语言互译、沟通全世界！’,
python爬虫：爬取动态网页内容
04-27
python爬虫：爬取动态生成的DOM节点渲染数据结果，该方式不是直接拿到接口进行解析，而是XHR中看不到数据，检查网页又能看到，普通爬虫爬取下来的结果是看不到爬取到的这个数据所在的div的。
Python爬取动态网页技术解析
最新发布
sinat_30844883的博客
08-23 1655
动态网页中数据需要通过逆向分析的思路，借助浏览器中的开发者模式，定位目标数据所在的资源，并确定目标数据所在的URL。
Python动态网页爬取
LMR的博客
05-02 5719
前面所讲的都是对静态网页进行抓取，本博客介绍动态网站的抓取。 动态网站的抓取 相比静态网页来说困难一些，主要涉及的技术是Ajax和动态Html。简单的网页访问是无法获取完整的数据，需要对数据加载流程进行分析。针对不同的动态网页爬取方法，将分别用具体实例进行介绍。本博客主要是直接利用Ajax来获取数据。 页面分析 本博客以MTime电影网为例，主要爬取电影的评分票房等信息。首...
python爬虫爬取动态网页数据
01-02
使用python的scrapy框架，对某动态购物网站使用js生成的动态数据进行抓取，并且可以存储到数据库或者excel或者csv文件中。
python爬虫爬取网页表格数据
09-20
在本例中，我们将重点讨论如何使用Python爬虫来抓取网页中的表格数据。Python提供了多个库来辅助这一过程，如BeautifulSoup和requests，这两个库在上述代码中被广泛使用。 首先，`requests`库用于发送HTTP请求并...
python爬虫爬取网页数据并解析数据
09-24
当爬取网页数据时，首先需要使用requests库发送GET请求到目标网页的URL，然后获取返回的状态码、响应内容等。获取到的数据可以通过BeautifulSoup库进行解析，提取出所需的具体HTML标签内容。例如，可以定位到特定的...
python3 爬虫爬取静态网页和动态网页下载图片案例.rar
04-05
python3 爬虫爬取静态网页和动态网页下载图片案例.rar python3 爬虫爬取静态网页和动态网页下载图片案例.rar python3 爬虫爬取静态网页和动态网页下载图片案例.rar python3 爬虫爬取静态网页和动态网页下载图片案例....
python如何爬取动态网站
12-17
python有许多库可以让我们很方便地编写网络爬虫，爬取某些页面，获得有价值的信息！但许多时候，爬虫取到的页面仅仅是一个静态的页面，即网页 的源代码，就像在浏览器上的“查看网页源代码”一样。一些动态的东西如javascript脚本执行后所产生的信息，是抓取不到的，这里暂且先给出这么一 些方案，可用于python爬取js执行后输出的信息。 1、两种基本的解决方案 1.1 用dryscrape库动态抓取页面 js脚本是通过浏览器来执行并返回信息的，所以，抓取js执行后的页面，一个最直接的方式就是用python模拟浏览器的行为。WebKit 是一个开源的浏览器引擎，python提供了许多库可以调用这
Python爬取动态网页
jiangla2577的博客
07-20 237
1.安装python 2.安装火狐浏览器 3.下载geckodriver，并存放到python的安装目录下 4.在cmd命令窗口通过pip install selenium,安装selenium库 5.编写相关程序，实现对动态网页的爬取 6.运行程序  ...
python爬取动态页面
js010111的博客
12-05 4849
一、动态页面 概述：在页面中执行某些动作，如翻页、点击等，页面的url不变，对这种类型的页面爬取。 原理：动态页面的数据的获取主要有两种（就我目前了解到的）， （1）网页先将数据请求放在某个<script></script>中，分页展示； （2）页面通过ajax请求获取数据。 二、方法 如何判断是哪种？ （1）打开控制台的网络部分，： （2）再次触发事件，比如说点击下一页，观察是否接收新的数据包 （3）出现的话就是原理的第二种方式，查看数据包的详细信息： （4）
python爬取动态网站
luoganttcc的博客
05-14 365
爬动态网站有很多种方法，但是最简单的方法是分析网站的源码获取api There should be one-- and preferably only one --obvious way to do it. 第一步导入基本库 #导入requests module import requests #导入random module import random #导入json module import json 第二步，用Chrome打开网站 http://www.neeq.com.cn.
Python动态网页的信息爬取
weixin_46129506的博客
12-11 1445
目录一、Selenium自动化测试框架二、对网页进行自动化测试三、爬取指定网页[http://quotes.toscrape.com/js/](http://quotes.toscrape.com/js/)的名言参考资料 一、Selenium自动化测试框架 什么是自动化测试 自动化测试指软件测试的自动化，在预设状态下运行应用程序或者系统，预设条件包括正常和异常，最后评估运行 结果。总的概括即：将人为驱动的测试行为转化为机器执行的过程。 进入今天的主角：selenium 学习功能测试自动化首选工具就是sele
python爬取动态网页_python爬取动态网页数据，详解
weixin_39736047的博客
11-23 3325
原理：动态网页，即用js代码实现动态加载数据，就是可以根据用户的行为，自动访问服务器请求数据，重点就是：请求数据，那么怎么用python获取这个数据了？浏览器请求数据方式：浏览器向服务器的api（例如这样的字符串：http://api.qingyunke.com/api.php?key=free&appid=0&msg=关键词）发送请求，服务器返回json，然后解析该json，就得到请求数据了同理...
python爬虫爬取动态网页
08-04
你可以使用Python中的Selenium库来爬取动态网页。Selenium是一个自动化测试工具，可以模拟浏览器行为，包括加载JavaScript和处理动态内容。以下是一个简单的示例代码： ```pythonfrom selenium import webdriver# 初始化Chrome浏览器驱动driver = webdriver.Chrome() # 打开网页driver.get("http://example.com") # 获取动态内容dynamic_content = driver.find_element_by_id("dynamic-content").text# 关闭浏览器驱动driver.quit() ``` 这个示例代码使用Chrome浏览器驱动来打开一个网页，并通过元素的ID来获取动态内容。你可以根据需要修改代码来适应不同的网页和动态内容的获取方式。 需要注意的是，使用Selenium爬取动态网页可能会比较慢，因为它实际上是模拟了一个完整的浏览器环境。如果你只需要获取部分动态内容，可以尝试使用Selenium的其他功能，如执行JavaScript脚本或等待元素加载完成。另外，还可以考虑使用其他工具，如Scrapy和Splash，来更高效地爬取动态网页。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值