python爬取豆瓣网评并写入excel表格中_python爬影评直接放在excel-CSDN博客

本文链接：https://blog.csdn.net/axiaowua/article/details/103744437

本文介绍了一种使用Selenium和Python爬取豆瓣电影评论的方法，包括如何设置浏览器参数、定位网页元素、抓取评论、用户名及评分，并将数据保存到Excel文件中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

为了爬取网评我们需要导入几个模块

from selenium import webdriver
import time
import xlwt

先定义要爬取的网站url’以及设置浏览器参数

movieUrl='https://movie.douban.com/subject/26794435/comments?start=0&limit=20&sort=new_score&status=P'
driverPath=r'E:\分享\chromedriver.exe'
#设置浏览器参数和驱动
driver=webdriver.Chrome(chrome_options=webdriver.ChromeOptions(),executable_path=driverPath)

爬取数据

driver.get(movieUrl)
driver.implicitly_wait(30)
list_short=[]
list_user=[]
list_star=[]
for i in range(10):
    # select()
    # 根据css选择器获取元素
    listShort = driver.find_elements_by_css_selector('.short')
    for li in listShort:
        short = li.text
        list_short.append(short)
    # 拿到用户名
    listUser = driver.find_elements_by_css_selector('.comment-info')
    for infouser in listUser:
        user=infouser.find_element_by_css_selector('a')
        userName = user.text
        list_user.append(userName)
        try:
            star=infouser.find_element_by_css_selector('.rating')
            starL = star.get_attribute('title')
        except:
            starL='0'
        list_star.append(starL)
    # 拿到星级
    #liststar = driver.find_elements_by_css_selector('.rating')
    # for star in liststar:
    #     starL = star.get_attribute('title')
    #     list_star.append(starL)
    #点翻页之前休眠一会

    #点击后页翻页
    driver.find_elements_by_css_selector('.next')[0].click()
    print('user',len(list_user))
    print('star',len(list_star))
    print('short',len(list_star))
    time.sleep(5)
    pass

写入表格

#向excel表格中写入
list=[list_user,list_star,list_short]
workbook=xlwt.Workbook()#创建一个worbook设置编码
sheet=workbook.add_sheet('douban')#创建一个worksheet
for i in range(len(list_user)):
    for j in range(3):
        sheet.write(i,j,list[j][i])#写入excel 参数对应行列值
        pass
workbook.save('short.xls')#保存