Python + Selenium + Scrapy：爬取分析存储C站博客统计数据示例

为了简化案例，这里仅提及C站博客首页旧版和部分统计数据。

C站旧版的博客主页都是类似 “https://blog.csdn.net/” + uid 这样子的。这种比较好办。找好用户id就可以重用网址前缀。

定义简单的C站用户ID类csdnuser.py：

"""
@author: MR.N
@create: 2021-07-22 Thur. 12:12
"""


class CSDNUser:

    def __init__(self):
        self.uid = None
        self.blog = None

    def __del__(self):
        self.uid = None

    def get_uid(self):
        return self.uid

    def set_uid(self, uid=None):
        self.uid = uid

    def __str__(self):
        return self.uid + '： ' + self.blog + ''

定义C站加载器类：

#!/bin/env python3
from csdnuser import CSDNUser


class CSDNLoader:

    def __init__(self):
        self.user = CSDNUser()
        self.blog_prefix = 'https://blog.csdn.net/'

    def __del__(self):
        print('[GC]', 'called')
        self.uid = None
        self.blog_prefix = None

    def __delete__(self, instance):
        # ...
        print('[GC-1]', 'called')

    def set_uid(self, uid=None):
        self.user.set_uid(uid)