大数据
Shady_em
IT小白
展开
-
kafka顺序消费策略
参考:https://blog.csdn.net/qq_31329893/article/details/90451889原创 2020-06-20 16:26:39 · 220 阅读 · 0 评论 -
kafka分区
参考链接:https://blog.csdn.net/weixin_38750084/article/details/82942564?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPa原创 2020-06-20 16:07:34 · 116 阅读 · 0 评论 -
Hbase
Zookeeper,作为分布式的协调。RegionServer也会把自己的信息写到ZooKeeper中。 HDFS是Hbase运行的底层文件系统 RegionServer,理解为数据节点,存储数据的。 Master RegionServer要实时的向Master报告信息。Master知道全局的RegionServer运行情况,可以控制RegionServer的故障转移和Region的切分。 HMaster是Master Server的实现,负责监控集群中的RegionServer实例,同时..原创 2020-05-20 11:48:08 · 125 阅读 · 0 评论 -
Spark
Spark运行架构包括集群资源管理器(Cluster Manager)、运行作业任务的工作节点(Worker Node)、每个应用的任务控制节点(Driver)和每个工作节点上负责具体任务的执行进程(Executor)。其中,集群资源管理器可以是Spark自带的资源管理器,也可以是YARN或Mesos等资源管理框架。在Spark中,一个应用(Application)由一个任务控制节点(Driver)和若干个作业(Job)构成,一个作业由多个阶段(Stage)构成,一个阶段由多个任务(Tas..原创 2020-05-20 11:43:18 · 737 阅读 · 0 评论