解决scrapy爬虫splash加载js导致系统死机的问题

最新推荐文章于 2023-03-14 10:05:07 发布

bestlzk

最新推荐文章于 2023-03-14 10:05:07 发布

阅读量2.1k

点赞数 5

分类专栏：教程文章标签： docker splash

本文链接：https://blog.csdn.net/bestlzk/article/details/80034129

版权

问题原因：splash在不断加载页面js后会使系统内存不断增加，内存满后便会导致系统死机

解决方法：我用python写了一个脚本，作用是监听系统的内存占用率，当内存占用超过75%后便会重新启动docker和splash

import os, time

def get_mem_usage_percent():
    try:
        f = open('/proc/meminfo', 'r')
        for line in f:
            if line.startswith('MemTotal:'):
                mem_total = int(line.split()[1])
            elif line.startswith('MemFree:'):
                mem_free = int(line.split()[1])
            elif line.startswith('Buffers:'):
                mem_buffer = int(line.split()[1])
            elif line.startswith('Cached:'):
                mem_cache = int(line.split()[1])
            elif line.startswith('SwapTotal:'):
                vmem_total = int(line.split()[1])
            elif line.startswith('SwapFree:'):
                vmem_free = int(line.split()[1])
            else: