![](https://img-blog.csdnimg.cn/20191219220210720.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
Hadoop 学习
DJH2717
努力从来都不会白费!
要学会发现问题,揣摩问题,思考问题,最后再解决问题!!
展开
-
HDFS Java API简单操作
注意点:9000 端口是 hdfs 文件系统的默认端口, 而 8020 才是 NameNode 的端口.API 基本规律:1: 首先创建 configuration 对象.2: 获取 FileSystem 对象后, 绝大部分 对文件系统的操作都在这个对象中, 如 create, mkdir, delete 等等.package hdfs;import org.apache.hado...原创 2020-02-29 14:28:22 · 265 阅读 · 0 评论 -
RM 高可用和RM 重启
Yarn 高可用Yarn 的故障转移有手动故障转移和自动故障转移, 手动故障转移是通过管理员执行 yarn 命令, 自动故障转移依赖于 Zookeeper 实现, 不需要额外的独立运行一个 ZKFC.自动故障转移官方介绍:The RMs have an option to embed the Zookeeper-based ActiveStandbyElector to decide w...原创 2019-12-20 11:08:25 · 383 阅读 · 0 评论 -
Yarn节点标签
YARN Node Labels用一句话来描述 Node Labels 就是在集群下面划分子集群官方介绍:One node can have only one node partition, so a cluster is partitioned to several disjoint sub-clusters by node partitions. By default, nodes b...原创 2019-12-19 21:56:38 · 648 阅读 · 0 评论 -
Yarn调度策略
FIFO 调度:此方式是 Hadoop 最早的调度方式, 实现方式简单, 同一时刻只允许一个作业运行, 按照作业的提交顺序来运行, 让其享有集群的全部资源, 优势是实现简单, 劣势是让当运行某些大作业时, 小作业难以得到及时的处理.Capacity 调度:官方介绍:The CapacityScheduler is designed to allow sharing a large c...原创 2019-12-19 19:48:07 · 579 阅读 · 0 评论