python爬取某财富网

点赞的人太多了。我只能修改一下代码… 感觉不对劲啊、

过程：

点击底部的第3页，第5页，网页刷新了，但是顶部的url地址没有变。那么就是 动态加载， 就是 XHR. 直接请求api.

实验代码如下:

import requests

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"
}


def get_data():
    url = "https://datacenter-web.eastmoney.com/api/data/v1/get?8888888888888888888AAAAAAAAAA--------------=RPTA_WEB_BGCZMX"
    resp = requests.get(url, headers=headers)
    print(resp.status_code)
    ret = resp.text
    print(ret)

    file_path = 'resp2.txt'
    with open(file_path, 'w', encoding='utf-8') as f:
        f.write(ret)

get_data()

输出：