python自动化爬取豆瓣电影top250数据

import re
import time
import pandas as pd


#打开浏览器，打开豆瓣电影250排行榜
driver = webdriver.Chrome(r'C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\Scripts\chromedriver.exe')
driver.get('https://movie.douban.com/top250')

#浏览器最大化
driver.maximize_window()

def search_product():

    divs = driver.find_elements_by_css_selector('.item')


    temp = []
    for div in divs:
        #排名
        index = div.find_element_by_css_selector('.pic').text

        #电影名称
        name = div.find_element_by_css_selector('.hd a:first-child span:first-child').text

        #信息(这个标签的数据是一个长字符串（如'导演: 弗兰克·德拉邦特 Frank Darabont   主演: 蒂姆·罗宾斯 Tim Robbins /...1994 / 美国 / 犯罪 剧情'），所以要用正则表达式切片出来)
        info = div.find_element_by_css_selector('.info .bd p:first-child').text

        #导演   A（.*？）B  表示在取字符串里AB之间的字符串，取出格式是列表，所以用索引取出来
        director = re.findall('导演: (.*?) ',info)[0]

        #上映年份  \d+ 表示去字符串中匹配一位或者多位数的数字时
        year = re.findall('\d+',info)[0]

        #国家
        area = re.findall('/ (.*?) /',info)[0]

        #类型  split方法是将字符串中用'/'分割开来，因为是列表，所以去索引去最后一个值
        type = re.split('/',info)[-1]

        #评分和评价人数
        star = div.find_element_by_css_selector('.star span:nth-child(2)').text
        num = div.find_element_by_css_selector('.star span:last-child').text

        #短评，部分电影短评为空，所以捕获定位报错后让短评内容=无
        try:
            quotes = div.find_element_by_css_selector('.quote span:first-child').text
        except NoSuchElementException:
            quotes = '无'


        #依次传入列表
        temp.append([index,name,director,year,area,type,star,num,quotes])
    return temp



list1 =[]
while True:
    list1 +=search_product()
    time.sleep(3)

    page = driver.find_elements_by_css_selector('.next a:nth-child(2)')
    #当定位到最后一页时，找不到该元素就停止
    if len(page) ==0:
        break
    else:
        driver.find_element_by_css_selector('.next a:nth-child(2)').click()
        time.sleep(3)


df = pd.DataFrame(list1,columns=['index','name','director','year','area','type','star','num','quotes'])
df.to_excel(r'C:\\Users\\Administrator\\Desktop\\douban.xls')

driver.close()