import re
import time
import pandas as pd
#打开浏览器,打开豆瓣电影250排行榜
driver = webdriver.Chrome(r'C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\Scripts\chromedriver.exe')
driver.get('https://movie.douban.com/top250')
#浏览器最大化
driver.maximize_window()
def search_product():
divs = driver.find_elements_by_css_selector('.item')
temp = []
for div in divs:
#排名
index = div.find_element_by_css_selector('.pic').text
#电影名称
name = div.find_element_by_css_selector('.hd a:first-child span:first-child').text
#信息(这个标签的数据是一个长字符串(如'导演: 弗兰克·德拉邦特 Frank Darabont 主演: 蒂姆·罗宾斯 Tim Robbins /...1994 / 美国 / 犯罪 剧情'),所以要用正则表达式切片出来)
info = div.find_element_by_css_selector('.info .bd p:first-child').text
#导演 A(.*?)B 表示在取字符串里AB之间的字符串,取出格式是列表,所以用索引取出来
director = re.findall('导演: (.*?) ',info)[0]
#上映年份 \d+ 表示去字符串中匹配一位或者多位数的数字时
year = re.findall('\d+',info)[0]
#国家
area = re.findall('/ (.*?) /',info)[0]
#类型 split方法是将字符串中用'/'分割开来,因为是列表,所以去索引去最后一个值
type = re.split('/',info)[-1]
#评分和评价人数
star = div.find_element_by_css_selector('.star span:nth-child(2)').text
num = div.find_element_by_css_selector('.star span:last-child').text
#短评,部分电影短评为空,所以捕获定位报错后让短评内容=无
try:
quotes = div.find_element_by_css_selector('.quote span:first-child').text
except NoSuchElementException:
quotes = '无'
#依次传入列表
temp.append([index,name,director,year,area,type,star,num,quotes])
return temp
list1 =[]
while True:
list1 +=search_product()
time.sleep(3)
page = driver.find_elements_by_css_selector('.next a:nth-child(2)')
#当定位到最后一页时,找不到该元素就停止
if len(page) ==0:
break
else:
driver.find_element_by_css_selector('.next a:nth-child(2)').click()
time.sleep(3)
df = pd.DataFrame(list1,columns=['index','name','director','year','area','type','star','num','quotes'])
df.to_excel(r'C:\\Users\\Administrator\\Desktop\\douban.xls')
driver.close()
python自动化爬取豆瓣电影top250数据
最新推荐文章于 2024-07-01 17:12:36 发布