python爬虫-保存豆瓣电影指定页数据到本地文件

最新推荐文章于 2024-06-09 15:04:59 发布

颜海凡

最新推荐文章于 2024-06-09 15:04:59 发布

阅读量586

点赞数 1

文章标签： python 爬虫开发语言

本文链接：https://blog.csdn.net/qq_44274974/article/details/124885017

版权

本文介绍了如何使用Python编写爬虫，从豆瓣电影网站抓取指定页面的热门电影数据，并将其保存为本地JSON文件。通过输入起始页码和结束页码，程序将自动遍历指定范围，获取包括电影名称、评分等信息在内的内容。

摘要由CSDN通过智能技术生成

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

提示：以下是本篇文章正文内容，下面案例可供参考

一、主要内容

python爬虫-保存豆瓣电影指定页数据到本地文件

二、使用步骤

1.源码

代码如下（示例）：

import urllib.request
import urllib.parse
def create_request(page):
    base_url='https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&'
    data={
        'page_start':(page-1)*20

    }
    data=urllib.parse.urlencode(data)
    url=base_url+data
    print(url)
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36"
    }
    request=urllib.request.Request(url=url,headers=headers)
    return (request)

def get_content(request):
    response=urllib.request.urlopen(request)
    content=response.read().decode('utf-8')
    return(content)


def down_load(page,content):
    with open('douban_'+str(page)+'.json','w',encoding='utf-8') as fp:
        fp.write(content)


if __name__=='__main__':
    start_page=int(input("起始页码:"))
    end_page=int(input("结束页码："))
    for page in range(start_page,end_page+1):
        request=create_request(page)
        content=get_content(request)
        down_load(page,content)