python3爬取豆瓣最火电影

最新推荐文章于 2024-05-02 07:00:29 发布

后端切图仔

最新推荐文章于 2024-05-02 07:00:29 发布

阅读量295

点赞数 1

分类专栏：第一次

原文链接：https://mp.weixin.qq.com/s/zzTRw4w6SFSeUDGlUCvXGw

版权

第一次专栏收录该内容

116 篇文章 1 订阅

订阅专栏

首先我们需要导入的有requests

bs4和BeautifulSoup

还有就是导入xlwt这个是excel文件

import requests
from bs4 import BeautifulSoup
import xlwt


def request_douban(url):
    try:
        response = requests.get(url)
        if response.status_code == 200:
            return response.text
    except requests.RequestException:
        return None
# 创建一个 excel 的 sheet
#
#
#
# 每一列就是我们要的关键内容

book = xlwt.Workbook(encoding='utf-8', style_compression=0)

sheet = book.add_sheet('豆瓣电影Top1000', cell_overwrite_ok=True)
sheet.write(0, 0, '名称')
sheet.write(0, 1, '图片')
sheet.write(0, 2, '排名')
sheet.write(0, 3, '评分')
sheet.write(0, 4, '作者')
sheet.write(0, 5, '简介')

n = 1


def save_to_excel(soup):
    list = soup.find(class_='grid_view').find_all('li')

    for item in list:
        item_name = item.find(class_='title').string
        item_img = item.find('a').find('img').get('src')
        item_index = item.find(class_='').string
        item_score = item.find(class_='rating_num').string
        item_author = item.find('p').text
        if (item.find(class_='inq') != None):
            item_intr = item.find(class_='inq').string

        # print('爬取电影：' + item_index + ' | ' + item_name +' | ' + item_img +' | ' + item_score +' | ' + item_author +' | ' + item_intr )
        print('爬取电影：' + item_index + ' | ' + item_name + ' | ' + item_score + ' | ' + item_intr)
        # global只做全局变量的声明，而不是一般的执行语句
        global n

        sheet.write(n, 0, item_name)
        sheet.write(n, 1, item_img)
        sheet.write(n, 2, item_index)
        sheet.write(n, 3, item_score)
        sheet.write(n, 4, item_author)
        sheet.write(n, 5, item_intr)

        n = n + 1


def main(page):
    url = 'https://movie.douban.com/top250?start=' + str(page * 25) + '&filter='
    html = request_douban(url)
    soup = BeautifulSoup(html, 'lxml')
    save_to_excel(soup)


if __name__ == '__main__':

    for i in range(0, 40):
        main(i)

book.save(u'豆瓣最受欢迎的1000部电影.xlsx')