干货|Linux中限制目录占用空间

点击上方“中兴开发者社区”,关注我们

每天读一篇一线开发者原创好文

背景

系统运行过程中,一些进程会向硬盘中写入大量的数据,如果写入的数据量不做控制,总有一天硬盘会被写满,导致一些奇奇怪怪的问题。

为了避免硬盘被写满,一般情况下我们需要监控指定的目录中文件总大小,如果超出大小则做删除处理,这种方式麻烦点在于需要创建一个守护进程专门守护目录,实时或者定时统计目录中所有文件的大小,这种方式下,守护进程会占用很多CPU时间,影响系统性能。

另外一种思路就是使用内存盘或者文件盘,将内存或者文件映射为一个独立的文件系统,将此文件系统挂载到指定目录,当用户向此目录写入数据时,会被严格限制在指定的大小。考虑到数据需要持久化,这里用文件映射磁盘的方式。


文件映射

创建文件盘

首先我们需要创建一个文件,作为该文件系统的宿主(类似于ISO文件),接着把该文件作为磁盘使用,在此文件上创建文件系统。

需要注意的是,Linbux中mkfs命令只能在块设备上执行,而文件不能直接作为块设备,这个矛盾需要解决,幸好系统中提供了一种“伪设备”功能,可以将一个设备和文件关联起来,访问此伪设备时实际访问的就是关联的文件(ISO文件就是一个很好的范例),有了这种办法,我们就可以在执行格式化前将文件通过losetup命令映射为指定设备,然后针对此设备操作即可。


创建文件系统

范例创建一个50M的文件,并将此文件系统格式化为Ext3格式;

  
  
  1. dd if=/dev/zero of=file.disk bs=1M count=50

  2. losetup /dev/loop100 file.disk

  3. mkfs.ext3 /dev/loop100

  4. losetup -d /dev/loop100


挂载文件系统

接着将此文件mount到本机的一个目录中(工作目录为/home/hxg/test/disk):

  
  
  1. cd /home/hxg/test/disk

  2. mount -o loop file.disk mhere/

用df命令看下当前系统上的磁盘,发现多出来一个/dev/loop2设备,此设备挂载到了/home/hxg/test/disk/mhere目录上:

  
  
  1. [root@hxg33 disk]# df

  2. Filesystem                1K-blocks     Used Available Use% Mounted on

  3. /dev/mapper/ncl-root       11397120  2428540   8968580  22% /

  4. /dev/loop2                    45478      827     42091   2% /home/hxg/test/disk/mhere

如何确定/dev/loop2设备就是我们刚刚创建的file.disk文件呢?使用losetup查看,可以看到该设备指向的文件为/home/hxg/test/disk/file.disk:

  
  
  1. [root@hxg33 disk]# losetup -l loop2

  2. NAME       SIZELIMIT OFFSET AUTOCLEAR RO BACK-FILE

  3. /dev/loop2         0      0         1  0 /home/hxg/test/disk/file.disk

验证
创建一个30MB的文件,创建成功:
  
  
  1. [root@hxg33 mhere]# dd if=/dev/zero of=file.disk bs=1M count=30

  2. 30+0 records in

  3. 30+0 records out

  4. 31457280 bytes (31 MB) copied, 0.144564 s, 218 MB/s

接着再创建一个30MB的文件,创建失败,原因是磁盘满了:

  
  
  1. [root@hxg33 mhere]# dd if=/dev/zero of=file1.disk bs=1M count=30

  2. dd: error writing file1.disk’: No space left on device

  3. 14+0 records in

  4. 13+0 records out

  5. 14082048 bytes (14 MB) copied, 1.69731 s, 8.3 MB/s

总结

通过文件映射磁盘的方式,然后将此虚拟磁盘映射到指定目录,我们就能很好的保证此目录空间能够很好的限制住。不足就是在创建文件磁盘的时候,就已经预先指定了大小并分配了空间。

但无论如何,此方法能完全杜绝硬盘写爆的风险。


拓展阅读

干货|监控硬盘读写


  • 1
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
### 回答1: Spark Streaming 和 Flink 都是流处理框架,但在一些方面有所不同。 1. 数据处理模型 Spark Streaming 基于批处理模型,将流数据分成一批批进行处理。而 Flink 则是基于流处理模型,可以实时处理数据流。 2. 窗口处理 Spark Streaming 的窗口处理是基于时间的,即将一段时间内的数据作为一个窗口进行处理。而 Flink 的窗口处理可以基于时间和数据量,可以更加灵活地进行窗口处理。 3. 状态管理 Spark Streaming 的状态管理是基于 RDD 的,需要将状态存储在内存。而 Flink 的状态管理是基于内存和磁盘的,可以更加灵活地管理状态。 4. 容错性 Flink 的容错性比 Spark Streaming 更加强大,可以在节点故障时快速恢复,而 Spark Streaming 则需要重新计算整个批次的数据。 总的来说,Flink 在流处理方面更加强大和灵活,而 Spark Streaming 则更适合批处理和数据仓库等场景。 ### 回答2: Spark Streaming 和 Flink 都是流处理框架,它们都支持低延迟的流处理和高吞吐量的批处理。但是,它们在处理数据流的方式和性能上有许多不同之处。下面是它们的详细比较: 1. 处理模型 Spark Streaming 采用离散化流处理模型(DPM),将长周期的数据流划分为离散化的小批量,每个批次的数据被存储在 RDD 进行处理,因此 Spark Streaming 具有较好的容错性和可靠性。而 Flink 采用连续流处理模型(CPM),能够在其流处理过程进行事件时间处理和状态管理,因此 Flink 更适合处理需要精确时间戳和状态管理的应用场景。 2. 数据延迟 Spark Streaming 在处理数据流时会有一定的延迟,主要是由于对数据进行缓存和离散化处理的原因。而 Flink 的数据延迟比 Spark Streaming 更低,因为 Flink 的数据处理和计算过程是实时进行的,不需要缓存和离散化处理。 3. 机器资源和负载均衡 Spark Streaming 采用了 Spark 的机器资源调度和负载均衡机制,它们之间具有相同的容错和资源管理特性。而 Flink 使用 Yarn 和 Mesos 等分布式计算框架进行机器资源调度和负载均衡,因此 Flink 在大规模集群上的性能表现更好。 4. 数据窗口处理 Spark Streaming 提供了滑动、翻转和窗口操作等灵活的数据窗口处理功能,可以使用户更好地控制数据处理的逻辑。而 Flink 也提供了滚动窗口和滑动窗口处理功能,但相对于 Spark Streaming 更加灵活,可以在事件时间和处理时间上进行窗口处理,并且支持增量聚合和全量聚合两种方式。 5. 集成生态系统 Spark Streaming 作为 Apache Spark 的一部分,可以充分利用 Spark 的分布式计算和批处理生态系统,并且支持许多不同类型的数据源,包括Kafka、Flume和HDFS等。而 Flink 提供了完整的流处理生态系统,包括流SQL查询、流机器学习和流图形处理等功能,能够灵活地适应不同的业务场景。 总之,Spark Streaming 和 Flink 都是出色的流处理框架,在不同的场景下都能够发挥出很好的性能。选择哪种框架取决于实际需求和业务场景。 ### 回答3: Spark Streaming和Flink都是流处理引擎,但它们的设计和实现方式有所不同。在下面的对比,我们将比较这两种流处理引擎的主要特点和差异。 1. 处理模型 Spark Streaming采用离散流处理模型,即将数据按时间间隔分割成一批一批数据进行处理。这种方式可以使得Spark Streaming具有高吞吐量和低延迟,但也会导致数据处理的粒度比较粗,难以应对大量实时事件的高吞吐量。 相比之下,Flink采用连续流处理模型,即数据的处理是连续的、实时的。与Spark Streaming不同,Flink的流处理引擎能够应对各种不同的实时场景。Flink的实时流处理能力更强,因此在某些特定的场景下,它的性能可能比Spark Streaming更好。 2. 窗口计算 Spark Streaming内置了许多的窗口计算支持,如滑动窗口、滚动窗口,但支持的窗口计算的灵活性较低,只适合于一些简单的窗口计算。而Flink的窗口计算支持非常灵活,可以支持任意窗口大小或滑动跨度。 3. 数据库支持 在处理大数据时,存储和读取数据是非常重要的。Spark Streaming通常使用HDFS作为其数据存储底层的系统。而Flink支持许多不同的数据存储形式,包括HDFS,以及许多其他开源和商业的数据存储,如Kafka、Cassandra和Elasticsearch等。 4. 处理性能 Spark Streaming的性能比Flink慢一些,尤其是在特定的情况下,例如在处理高吞吐量的数据时,在某些情况下可能受制于分批处理的架构。Flink通过其流处理模型和不同的调度器和优化器来支持更高效的实时数据处理。 5. 生态系统 Spark有着庞大的生态系统,具有成熟的ML库、图处理库、SQL框架等等。而Flink的生态系统相对较小,但它正在不断地发展壮大。 6. 规模性 Spark Streaming适用于规模小且不太复杂的项目。而Flink可扩展性更好,适用于更大、更复杂的项目。Flink也可以处理无限制的数据流。 综上所述,Spark Streaming和Flink都是流处理引擎,它们有各自的优缺点。在选择使用哪一个流处理引擎时,需要根据实际业务场景和需求进行选择。如果你的业务场景较为复杂,需要处理海量数据并且需要比较灵活的窗口计算支持,那么Flink可能是更好的选择;如果你只需要简单的流处理和一些通用的窗口计算,Spark Streaming是更为简单的选择。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值