hadoop
Alex_Sheng_Sea
这个作者很懒,什么都没留下…
展开
-
spark job提交过程
Driver的任务提交过程 1、Driver程序的代码运行到action操作,触发了SparkContext的runJob方法。 2、SparkContext调用DAGScheduler的runJob函数。 3、DAGScheduler把Job划分stage,然后把stage转化为相应的Tasks,把Tasks交给TaskScheduler。 4、通过TaskScheduler把Tasks添加到任务队列当中,交给SchedulerBackend进行资源分配和任务调度。 5、调度器给Task分配执行Exe转载 2020-10-19 15:34:29 · 278 阅读 · 0 评论 -
hadoop HA切换机制
NameNode 的主备切换实现 NameNode 主备切换主要由 ZKFailoverController、HealthMonitor 和 ActiveStandbyElector 这 3 个组件来协同实现: ZKFailoverController 作为 NameNode 机器上一个独立的进程启动 (在 hdfs 启动脚本之中的进程名为 zkfc),启动的时候会创建 HealthMonitor 和 ActiveStandbyElector 这两个主要的内部组件,ZKFailoverControlle转载 2020-10-19 15:31:49 · 1374 阅读 · 0 评论 -
hadoop集群datanode、nodemanager节点下线
最近要下线几台Datanode,所以整理一下方法 一、修改hdfs-site.xml文件 1.在namenode节点hdfs.site中增加配置,在standby中也同时修改 <property> <name>dfs.hosts.exclude</name> <value>/data/app/hadoop-2.6.5/etc/hado...原创 2018-12-05 16:15:47 · 2412 阅读 · 2 评论 -
hadoop fsck / 详解
我们知道fsck是用来检测hdfs上文件、block信息的,但是fsck输出的结果我们是否能看明白呢? Status: HEALTHY Total size: 2847297793799 B Total dirs: 26332 Total files: 883767 Total symlinks: 0 Total blocks (validate...原创 2019-07-17 10:54:40 · 1089 阅读 · 0 评论