爬虫_010_ajax请求

        【个人理解】ajax请求是实现跨页面多页面爬取数据

          一、get请求【豆瓣】

                1.找到豆瓣电影的页面规律

# https://movie.douban.com/j/chart/top_list?type=20&interval_id=100%3A90&action=&start=0&limit=20
# https://movie.douban.com/j/chart/top_list?type=20&interval_id=100%3A90&action=&start=20&limit=20

        仔细观察应该是start变化了，所以我们根据start变化规律来即可【start=(page-1)*20】

        完整代码

import urllib.request
import urllib.parse
import json

def crate_request(page):
    '''
    创建请求对象
    '''
    base_url = 'https://movie.douban.com/j/chart/top_list?type=20&interval_id=100%3A90&action=&start='
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.67'
    }
    data = {
        'start': (page - 1) * 20,
        'limit': 20
    }
    new_url = urllib.parse.urlencode(data)
    url = base_url + new_url
    request = urllib.request.Request(url=url, headers=headers)
    return request

def get_content(request):
    '''
    获取页面数据 
    '''
    response = urllib.request.urlopen(request)
    content = response.read().decode('utf-8')
    return content

def down_load(page, content):
    '''
    下载数据
    '''
    with open('douban' + str(page) + '.json', 'w') as fp:
        fp.write(content)

if __name__ == '__main__':
    start_page = int(input('输入起始页码：'))
    end_page = int(input('输入结束页码：'))
    for page in range(start_page, end_page+1):
        request = crate_request(page)
        content = get_content(request)
        down_load(page, content)

                因为这里用的方法在之前已经提到过，所以就不多做赘述。

        二、post请求【kfc官网】

                因为爬取kfc官网需要我们提交查询的店面地址，所以是属于post的提交数据给服务器进行处理。

        需要改变的只是将data数据进行编码，然后将url、编码后的data和headers通过Request方法一起提交给服务器。