Python爬虫——urllib_ajax的get请求爬取豆瓣电影前十页

错过人间飞鸿

已于 2023-08-07 22:06:00 修改

阅读量3.1k

点赞数 2

分类专栏： Python爬虫文章标签： python 爬虫

于 2023-07-14 12:38:50 首次发布

本文链接：https://blog.csdn.net/m0_63757342/article/details/131720790

版权

Python爬虫专栏收录该内容

35 篇文章 1 订阅

订阅专栏

该文章展示了如何使用Python的urllib库来模拟AJAX请求，以获取豆瓣电影排行榜的前10页数据。通过分析URL参数，特别是start参数来实现分页，每页20条记录。代码创建了一个Request对象并发送GET请求，将响应内容保存为JSON文件。

摘要由CSDN通过智能技术生成

ajax： 就是一段js代码，通过这段代码，可以让页面发送异步的请求，或者向服务器发送一个东西，即和服务器进行交互

对于ajax：

一定会有 url，请求方法(get, post)，可能有数据
一般使用 json 格式

打开豆瓣电影，F12打开控制台（我这里是科幻类排行榜）
这是第一页

第二页
在这里插入图片描述
第三页就不放了
得到一个规律start =(page-1)*20

import urllib.request
import urllib.parse

# 用函数封装
# 下载豆瓣电影前10页的数据
def create_request(page):
    base_url = 'https://movie.douban.com/j/chart/top_list?type=17&interval_id=100%3A90&action=&'

    headers = {
        '',
    }
    data = {
        'start': (page - 1) * 20,
        'limit': 20
    }

    data = urllib.parse.urlencode(data)
    url = base_url + data

    # 请求对象定制
    request = urllib.request.Request(url, headers=headers)

    return request

# 获取响应数据
def get_content(request):
    response = urllib.request.urlopen(request)

    content = response.read().decode('utf-8')

    return content

# 下载数据
def down_load(page, content):
    with open('douban' + str(page) + '.json', 'w', encoding='utf-8') as fp:
        fp.write(content)

if __name__ == '__main__':
    start_page = 1
    end_page = 10
    for page in range(start_page, end_page+1):
        request = create_request(page)
        content = get_content(request)
        down_load(page, content)