Python(七)实现豆瓣评论爬取

前言

本章主要讲述一个简易版的爬虫案例，这里爬取豆瓣【你好，李焕英】的评论

---

一、爬虫代码

import os
import codecs
from selenium import webdriver


# 获取摘要信息
def getFilmComment():
    try:
        # 新建文件夹及文件
        basePathDirectory = "DouBan_FilmComment"
        if not os.path.exists(basePathDirectory):
            os.makedirs(basePathDirectory)
        commentFile = os.path.join(basePathDirectory, "DouBan_FilmComments.txt")
        # 若文件不存在则新建，若存在则追加写入
        if not os.path.exists(commentFile):
            info = codecs.open(commentFile, 'w', 'utf-8')
        else:
            info = codecs.open(commentFile, 'a', 'utf-8')

        # 浏览驱动器路径
        driver = webdriver.Chrome()
        # 打开网页
        for k in range(15000):  # 大约有15000页
            k = k + 1
            g = 2 * k
            driver.get("https://movie.douban.com/subject/34841067/commen