关于scrapy爬虫的注意事项

1. 图片下载的设置

class ClawernameSpider(scrapy.Spider):
    # 定制化设置
    custom_settings = {
        'LOG_LEVEL': 'DEBUG',  # Log等级，默认是最低级别debug
        'ROBOTSTXT_OBEY': False,  # default Obey robots.txt rules
        'DOWNLOAD_DELAY': 0,  # 下载延时，默认是0
        'COOKIES_ENABLED': False,  # 默认enable，爬取登录后数据时需要启用
        'DOWNLOAD_TIMEOUT': 25,  # 下载超时，既可以是爬虫全局统一控制，也可以在具体请求中填入到Request.meta中，Request.meta['download_timeout']
        'RETRY_TIMES': 8,
        # ………………

        'IMAGES_STORE': r'E:\scrapyFashionbeansPic\images',  # 爬虫下载图片存储位置，没有则新建,已经存在的图片不会再下载
        'IMAGES_EXPIRES': 90,  # 图片过期时间，单位为天
        'IMAGES_MIN_HEIGHT': 100,  # 图片最小尺寸（高度），低于这个高度的图片不会下载
        'IMAGES_MIN_WIDTH': 100,  # 图片最小尺寸（宽度），低于这个宽度的图片不会下载
        'DOWNLOADER_MIDDLEWARES': {  # 下载中间件设置，后面的数字（范围0~999）为优先级，越小越先处理
            'scrapyFashionbeans.middlewares.HeadersMiddleware': 100,
            'scrapyFashionbeans.middlewares.ProxiesMiddleware': 200,
            'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
        },

        # ………………
    }

2. 在Request中设置flag，针对性处理每个request
在构造Request时，增加flags这个参数

def start_requests(self):
    for each in keyLst:
        yield scrapy.Request(
            url = f'https://www.amazon.com/s/ref=nb_sb_noss?url=search-alias%3Daps&field-keywords={quote(each)}',
            meta = {'key': each, 'dont_redirect': True},
            callback = self.parse,
            errback = self.error,
            # 在request中埋入flag，在经过中间件时，可以以此为判断依据，针对性处理每条Request
            flags = [1]           
        )

使用在下载中间件的示例：
# 在下载中间件中，代理处理部分
# 当Request的flag[0]设置为1时，不添加代理IP

class ProxiesMiddleware(object):
    def __init__(self):
        runTimer = datetime.datetime.now()
        print(f"instance ProxiesMiddleware, startProxyTimer, runTimer:{runTimer}.")
        timerUpdateProxies()
        print(f"instance ProxiesMiddleware, startProxyTimer, runTimer:{runTimer}.")

    def process_request(self, request, spider):
        print('Using ProxiesMiddleware!')

        # 在这里识别 request.url是不是指列表页，从而不启用代理。
        # 或者在发送列表页request时，将某个栏位(flags可用，类型是列表)置上标记，在这个地方检察这个标记，从而决定要不要启动代理。
        if request.flags:
            if request.flags[0] == 1:   # flags[0] 如果为1表示这条request并不需要添加代理
                return None             # 不加proxy, 直接返回, 给其他中间件继续处理request

        if not request.meta.get('proxyFlag'):
            request.meta['proxy']='http://xxxxxxxxxxxx:xxxxxxxxxxxx@proxy.abuyun.com:9020'

3. 跟进一个网页中的超链接

for page in range(1 ,pageNum + 1):
    # 从本网页实现页面跟进
    # href是从网页中拿到的超链接地址
    yield response.follow(
        url = re.sub(r'page=\d+', f'page={page}', href, count = 1),
        meta = {'dont_redirect':True , 'key':response.meta['key']},
        callback = self.galance,
        errback = self.error
    )  

4. 利用redis进行网页去重，做分布式爬虫的基础。
关于scrapy-redis的原理，请参考：https://www.biaodianfu.com/scrapy-redis.html
参考文章：https://www.cnblogs.com/zjl6/p/6742673.html

class ClawernameSpider(scrapy.Spider):
    # 定制化设置
    custom_settings = {
        'LOG_LEVEL': 'DEBUG',  # Log等级，默认是最低级别debug
        # ………………
        # 利用redis对网页去重的设置项
        'DUPEFILTER_CLASS': "scrapy_redis.dupefilte