关注
分享
ZikH~
熟悉Hadoop分布式架构，了解HDFS存储、Yarn运行以及MapReduce计算的流程。
熟悉Hive数据仓库管理工具,了解Hive Sql处理、分析数据。
熟悉Spark计算框架，了解RDD、任务提交执行机制、Spark常用算子以及Spark Core、 Spark Streaming、 Spark SQL 进行数据分析和计算。
熟悉Flink分布式大数据处理引擎,了解Execute方法、Flink算子操作、Flink算子操作。
熟悉Kafka分布式的发布—订阅消息系统，了解Kafka的topic操作、ISR列表、offset、ack机制
了解Hbase非关系型数据库，
展开
-
大数据——Zookeeper ZBA协议（四）
对于分布式框架而言，基本上都会遵循CAP三大理论CAP(CAP理论是从客户端角度出发的！！！C(Consistency)：一致性。在一段时间内，访问这个集群获取到的数据是相同的。注意，此时，在一个时间段内，不要求每一台服务器的数据都一样，只要保证客户端获取到的数据一样就行A(Availability)：可用性。当客户端对集群中的节点发起请求的时候，节点能够在合理的时间内(一般理解为立刻)进行响应 - 时效性。注意，此处的可用性和服务器的高可用不是一回事儿！！！原创 2024-04-20 09:02:47 · 962 阅读 · 4 评论 -
大数据——Zookeeper ZAB协议（三）
在Zookeeper中，计算过半是计算的有决策权(选举/原子广播)的节点数量，observer没有决策权，所以不影响过半。例如：一个集群由21个节点组成，1个leader+6个follower+14个observer，即使observer全部宕机，Zookeeper集群也正常提供服务；在集群规模庞大或者网络不稳定的时候，选举或者原子广播的效率都会比较低，所以在实际过程中，会尽量减少参与选举或者原子广播的节点数量，因此在实际过程中，会将一个集群的90%~97%的节点设置为observer。原创 2024-04-20 09:00:19 · 1008 阅读 · 1 评论 -
大数据——Zookeeper 安装（集群）(二)
当Zookeeper集群启动的时候，此时所有的节点(在集群中，节点指的就是服务器)都会进入选举状态，并且此时所有的节点都会推荐自己成为leader当一个节点收到别人的选举信息之后，就会进行比较。经过多轮比较之后，最后胜出的节点会成为leader。原创 2024-04-19 09:05:32 · 680 阅读 · 3 评论 -
大数据——Zookeeper安装、启动、操作命令（一）
在大数据中，几乎所有的框架，它的安装都提供了三种模式单机模式：在一台服务器上安装，往往能够启动这个框架的部分服务伪分布式：在一台服务器上安装，但是利用多个线程模式分布式环境，能够启动这个框架的大部分甚至于服务分布式：在集群上安装，能够启动这个框架的所有服务现阶段，先安装单机模式，搞定所有的概念之后，再到集群中安装。原创 2024-04-19 09:03:41 · 1393 阅读 · 1 评论