python 爬虫遇到ajax动态更新的数据的处理方法

当我们使用爬虫从网站中爬取数据时，对于普通的网页当然有成熟的获取页面，分析页面的工具，这里不再赘述。

由于现在网站的页面内容，大都是通过response，返回一个页面框架。这个框架里这么数据也没有，等到这个页面加载完毕后，触发ajax请求，通过ajax异步请求，来获取数据。

这种方式，用普通的方式，我们的爬虫什么也得不到。

面对这种情况，我们有以下两个思路：

首先：模拟ajax请求，直接获取ajax请求返回的数据，对这些返回的json数据进行分析。

此种方法，需要用request 进行第一次访问，然后拷贝出该请求的头文件参数。包含：cookie参数。然后伪装成返回的框架页面进行异步访问

 headers = {

        'Accept': 'application/json, text/javascript, */*; q=0.01',
        'Accept - Encoding': 'gzip, deflate',
        'Accept-Language': 'zh-CN,zh;q=0.9',
        'Connection': 'keep-alive',
        'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
        'Content-Length': '77',
        'Cookie': 'PHPSESSID=urqun9vc9ujikd34gbas1llck0; Hm_lvt_210e7fd46c913658d1ca5581797c34e3=1628088616,1628233023; Hm_lpvt_210e7fd46c913658d1ca5581797c34e3=1628237521',
        'Host': 'www.xxxxx.com',
        'Origin': 'http://www.xxxxx.com',
        'Referer': 'http://www.xxxxxx.com/tools/financial_report.php?si=601318&sn=%E4%B8%AD%E5%9B%BD%E5%B9%B3%E5%AE%89',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36',
        'X-Requested-With': 'XMLHttpRequest'
    }
    pformdata = {
        'stock_id': stock_code,
        'report_form': 'netease_xjllb_info',  # 现金流量表
        'report_year': 5,
        'report_type': 'Annual'
    }
 url = 'http://www.xxxx.com/tools/financial_report.php?si={0}&sn={1}'.format(stock_code, stock_name)

    data = urllib.parse.urlencode(formdata).encode()
    # 发送POST请求
    new_url = "http://www.xxxx.com/tools/get_financial_report_data_v2.php"
    print(url)
    req = urllib2.Request(url)
    # response = urllib2.urlopen(req).read().decode()

    response = requests.post(url=url, data=data, headers=headers)
    session = requests.session()
    response = session.request("POST", url, data=data, headers=headers)

    time.sleep(1)
    req = urllib2.Request(new_url, data=data,  headers=nheaders)
    res_data = urllib2.urlopen(req).read().decode()
    data = eval(res_data )
    print（data）

第二种方法：通过Chromedriver.exe,通过Chrome浏览器，模拟访问网站。等网站的所有访问都结束以后，再获取浏览器的源代码。

url = "http://www.xxxxx.com/ement.php?stock_id={0}".format(stock_code)
    base_url = "http://www.xxx.com"
    base_path = "C:\\financial_report\\pdf\\"
    # 再模拟打开首页：
    browser = webdriver.Chrome()
    browser.get(url)
    # 再模拟滚动条滚动到底部
    for i in range(1, 5):
        browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
        time.sleep(1)

    html = BeautifulSoup(browser.page_source, "lxml")