python爬虫入门实战(四)！爬取动态加载的页面！

有些网页是动态加载的，那么怎么处理呢？

今天的主题是爬取动态网页的经验分享，以cocos论坛为例子进行分享。(官方不会打我吧 )

配置环境

为什么选择cocos论坛呢？因为自己在浏览论坛时，发现标题内容会随着滚动条的位置而动态添加。

环境: python3 + requests 。还要引入几个系统库。参考如下：

import requests
import json
import csv
from multiprocessing.dummy import Pool

分析网页

以chrome浏览器为例，空白处 右键->检查 进入网页分析模式，选择 Network 中的XHR，滚动条往下滚，观察右侧加载了什么文件。

在网页分享模式下，点击刚才下载的文件，查看里面的内容，发现对一个地址使用了GET方法，并传入了页码的参数。

再看看返回的内容是一个json字符串。