Python--爬取豆瓣影评②

Python–爬取豆瓣影评②并保存在本地

提示：

①.本文只提供能爬取豆瓣所有页的内容。若需要对爬取后的内容分析，做成词云图，请看“ Python–爬取豆瓣影③”
②.本文可爬取阿甘正传的观影影评，若您需要爬取别的电影影评，需要修改爬取的url以及url的规律（但是规律一般一致）。
③.本文不做任何教学，只将代码附上，有需要学习的或者借鉴的从代码中自行学习！，介意勿看。

---

完整代码附上

"""
1.爬取豆瓣的短影评 ----阿甘正传
2.保存在本地.
-------- 加入cookie信息，可爬取任意评论
"""

import requests
import re
import time
import random



class Spider_db:
    def __init__(self):
        self.comment_url = "https://movie.douban.com/subject/1292720/comments?start={}&limit=20&status=P&sort=new_score"
        self.comment_headers = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.55 Safari/537.36 Edg/96.0.1054.34",
            "Cookie":"?????????"}  # 此处？？？？？需要您自行登录豆瓣后，F12-->抓包--->得到您的cookie信息，然后将？？？？？替换即可


    def get_comment_url(self):
        url_list = []
        for i in range(15):
            url_list.append(self.comment_url.format(i * 20))

        return url_list

    def comment_db(self, url):

        resp = requests.get(url=url, headers=self.comment_headers)

        comments = re.findall('<span class="short">(.*)</span>', resp.content.decode())
        return comments

    def save_text(self, db_text, page_num):
        file_path = "阿甘正传--影评第{}页.text".format(page_num)
        with open(file_path, "a+", encoding="utf-8") as f:
            f.write(db_text)
            f.write("\n")

    def run(self):
        # 1.页面规律总结，得到要爬取数据的页面
        comment_list = self.get_comment_url()
        # 3.进入阿甘正传页面爬取影评
        for url in comment_list:
            comments = self.comment_db(url)

            page_num = comment_list.index(url) + 1

            for content in comments:

                self.save_text(content, page_num)


            print("写入成功",page_num)
            time.sleep(random.random() * 5)
        # 4.保存在本地


if __name__ == '__main__':
    spider = Spider_db()
    spider.run()

效果图：

注意：
①：此代码不能保证一直能够爬取，因为url地址及规律会变化。最后一次执行时间为：2021-12-04

②：若不能执行私信我，我会更新一下内容！

---