Python(七)实现豆瓣评论爬取

最新推荐文章于 2024-08-24 17:01:15 发布

M1kasal

最新推荐文章于 2024-08-24 17:01:15 发布

阅读量1.3k

点赞数 1

分类专栏： Python

本文链接：https://blog.csdn.net/Makasa/article/details/114273932

版权

本文介绍了如何使用Python编写一个简单的爬虫，抓取电影《你好，李焕英》在豆瓣上的用户评论，包括爬虫代码的实现和爬取结果的展示。

摘要由CSDN通过智能技术生成

前言

本章主要讲述一个简易版的爬虫案例，这里爬取豆瓣【你好，李焕英】的评论

一、爬虫代码


import os
import codecs
from selenium import webdriver


# 获取摘要信息
def getFilmComment():
    try:
        # 新建文件夹及文件
        basePathDirectory = "DouBan_FilmComment"
        if not os.path.exists(basePathDirectory):
            os.makedirs(basePathDirectory)
        commentFile = os.path.join(basePathDirectory, "DouBan_FilmComments.txt")
        # 若文件不存在则新建，若存在则追加写入
        if not os.path.exists(commentFile):
            info = codecs.open(commentFile, 'w', 'utf-8')
        else:
            info = codecs.open(commentFile, 'a', 'utf-8')

        # 浏览驱动器路径
        driver = webdriver.Chrome()
        # 打开网页
        for k in range(15000):  # 大约有15000页
            k = k + 1
            g = 2 * k
            driver.get("https://movie.douban.com/subject/34841067/commen