- 博客(9)
- 收藏
- 关注
RSS订阅原创 Hadoop第三天！！！
NameNode是HDFS的主进程，也是核心进程。在Hadoop1.x中只允许存在1个NameNode，在Hadoop2.x允许最多存在2个NameNode(1个Active+1个Standby)，在Hadoop3.x中不再限制NameNode的数量(1个Active+n个Standby)作为主进程，NameNode对外负责接收请求，对内负责记录元数据和管理DataNode。
2024-06-27 15:30:59
753
原创 Hadoop第二天
HDFS典型的主从（Master/Slave），简称为M/S结构，主进程是NameNode，从进程是DataNodeHDFS会对上传的每一个文件进行切块处理，切出来的每一个数据块称之为是一个blockHDFS会对存储的每一个Block进行备份，称之为副本（replication/replicas）。默认情况下，副本数量为3HDFS仿照Linux设计了一套虚拟文件系统，根路径是“/”
2024-06-25 09:38:17
679
原创 Hadoop第一天
概述Hadoop原本是由Yahoo公司开发的后来贡献给了Apache的一套开源的、可靠的、可扩展/可伸缩的、分布式框架Hadoop之父：Doug.Cutting(道格.卡汀)由于Hadoop的版本混乱，所以在选择Hadoop版本的时候需要注意Hadoop的兼容性问题Hadoop提供了简单的编程模型在集群中处理大量的数据集Hadoop能够从一台主机扩展到上千台主机，每一台主机都能够进行本地存储和计算Hadoop本身提供了探测和处理异常的机制。
2024-06-24 14:35:43
518
原创 zookeeper第四天
对于分布式框架而言，基本上都会遵从CAP三大理论CAP（CAP理论是从客户端角度出发的！！！C（Consistency）：一致性。在一段时间内，访问这个集群获取到的数据是相同的。注意，此时，在一个时间段内，不要求每一台服务器的数据都一样，只要保证客户端获取到的数据一样就行A（Availability）：可用性。当客户端对集群中的节点发起请求的时候，节点能够在合理的时间内（一般理解为立刻）进行响应-时效性。注意，此处的可用性和服务器的高可用不是一回事！！！
2024-06-24 10:19:33
118
原创 zookeeper第三天！
1.ZAB（Zookeeper Automic Broadcast）是一套专门为Zookeeper设计的用于进行原子广播和崩溃恢复的协议2.ZAB协议主要包含了两个功能：1.原子广播：保证数据的一致性2.崩溃恢复：保证集群的高可用3.ZAB协议本身是基于2PC算法来进行的设计，加入了PAXOS算法和过半性进行了改进4.正因为ZAB协议的特点，所以Zookeeper是一个CP框架。
2024-06-24 10:00:16
722
原创 zookeeper第二天
4.如果两个节点进行比较，一方失败，那么失败的节点会转而接受胜出的节点的选举信息，此时可以理解为生出的节点获得了一票，当一个节点赢得板书及以上的节点的支持的时候，那么这个节点就会成为leader -1.在zookeeper集群中，当出现没有leader（集群刚刚启动，或者是leader宕机）的状态时，此时整个集群的所有节点都会进入选举状态，准备选举。1.当zookeeper集群启动的时候，此时所有的节点（在集群中，节点指的就是服务器）都会进入选举状态，并且此时所有的节点都会推荐自己成为leader。
2024-04-20 14:59:54
778
2
原创 Zookeeper学习
环境变量的配置有两个位置： /etc/profile 和 ~/.bashrc 无论那个，默认都会扫描/etc/profile.d目录下的脚本文件，所以，配置环境变量一般是放在/etc/profile.d。2.伪分布式：在一台服务器上安装，但是理由多个线程模式分布式环境，能够启动这个框架 的大部分甚至于服务。，包含统一配置、统一命名、分布式锁服务、分布式组服务，更多的时候，zookeeper充当一个。在大数据中，几乎所有的框架，它的安装都提供了三种模式。
2024-04-18 19:18:21
184
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人