3.zookeeper持久化机制

两种形式持久化数据

  • 事务日志
  • 数据快照

存储的路径在配置文件中的dataDir=/home/zookeeper/apache-zookeeper-3.7.0-bin/data下,log文件就是事务日志,snapshot就是快照

[root@localhost apache-zookeeper-3.7.0-bin]# cd /home/zookeeper/apache-zookeeper-3.7.0-bin/data
[root@localhost data]# ll
total 4
drwxr-xr-x. 2 root root 68 Jan 25 02:29 version-2
-rw-r--r--. 1 root root  5 Jan 25 02:29 zookeeper_server.pid
[root@localhost data]# cd version-2/
[root@localhost version-2]# ll
total 24
-rw-r--r--. 1 root root 67108880 Jan 23 04:08 log.1
-rw-r--r--. 1 root root 67108880 Jan 25 03:58 log.f
-rw-r--r--. 1 root root      457 Jan 23 03:25 snapshot.0
-rw-r--r--. 1 root root     1206 Jan 25 02:29 snapshot.e

zk通过两种形式持久化数据,当恢复数据的时候先通过快照恢复,再通过日志增量恢复

大数据(Big Data)是指规模庞大、复杂度高且难以用传统数据处理方法进行捕捉、管理和处理的数据集合。它通常具有以下三个特征: 数据量大:大数据指的是数据集的规模非常庞大,远远超出了传统数据处理工具的能力范围。这些数据集可能包含数十亿甚至数万亿的记录。 复杂度高:大数据往往包含多种类型和格式的数据,例如结构化数据(如关系型数据库中的数据)、半结构化数据(如XML文件)和非结构化数据(如文本、图像和音频等)。这些数据的复杂性使得处理和分析变得更加困难。 处理速度快:大数据处理要求在短时间内处理和分析大规模的数据。传统的数据处理方法往往无法满足实时或近实时处理的需求。 大数据的出现主要是由于以下几个因素的影响: 数据的爆发性增长:随着互联网的普及和各种传感器、设备的广泛应用,数据的产生和积累呈现爆发式增长的趋势。 新型数据源的涌现:除了传统的结构化数据,越来越多的非结构化和半结构化数据源涌现,例如社交媒体数据、日志文件、传感器数据、地理位置数据等。 技术的进步:大数据处理的技术工具和技术方法得到了快速发展,例如分布式计算、云计算、并行处理、机器学习和人工智能等技术的应用,使得大数据的存储、管理和分析变得可行和高效。 大数据的处理和分析可以带来许多潜在的好处,包括更深入的洞察力、更准确的决策支持、更精细的个性化服务、更高效的资源利用和创新等。在各个领域,如商业、医疗、金融、交通、科学研究等,大数据正发挥着重要的作用,并为我们带来了新的机遇和挑战。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值