hadoop
文章平均质量分 87
fightingD&W
团结紧张 严肃活泼
展开
-
Hadoop-第九周
一、掌握Hadoop原生授权机制二、熟悉Ranger同意授权管理机制原创 2021-05-18 14:31:03 · 644 阅读 · 0 评论 -
Hadoop-第八周
一、熟悉Kerberos认证原理二、熟悉基于Kerberos的Hadoop安全认证机制三、熟悉基于OpenLDAP的用户管理原创 2021-05-11 21:41:42 · 237 阅读 · 0 评论 -
Hadoop-第七周
一、理解RM基本职能和内部架构二、理解NM基本职能和内部架构三、理解资源调度器FairScheduler调度原理四、理解资源调度器CapacityScheduler调度原理五、熟悉YARN应用程序设计方法...原创 2021-05-11 19:19:34 · 282 阅读 · 0 评论 -
Hadoop-第六周
一、了解YARN基本设计思想二、了解MRv1发展到YARN的原因三、熟悉YARN的工作流程3.1作业提交到运行结束,如何调度3.2 作业提交到运行结束,如何管理原创 2021-05-10 17:57:56 · 120 阅读 · 0 评论 -
Hadoop-第五周
一、掌握MR思想二、熟悉MR编程模型三、掌握MR作业运行过程原创 2021-05-10 17:21:46 · 111 阅读 · 0 评论 -
Hadoop-第四周
一、熟悉HDFS HA实现机制1.1 整体架构1.2 QJM 元数据共享机制1.3 主备选举和自动切换的实现1.4 防“脑裂”机制1.5 HA 相关配置和管理二、HDFS可靠性保障机制2.1 租约恢复2.2 块恢复2.3 管道恢复...原创 2021-05-10 16:34:35 · 669 阅读 · 1 评论 -
Hadoop-第三周
一、Hadoop RPC通信原理二、熟悉NN和DN的启动过程2.1 NN启动过程2.2 安全模式2.3 数据块管理、放置策略、删除策略2.4 DN的启动和心跳上报三、熟悉HDFS元数据管理3.1 掌握元数据目录结构,fsimage和edits3.2 元数据周期合并机制3.3 元数据相关操作,元数据恢复,现场对元数据的加强保护...原创 2021-04-27 11:08:16 · 307 阅读 · 0 评论 -
Hadoop-第二周
一、掌握HDFS基本架构及设计思想二、掌握HDFS中各服务的基本职能三、掌握HDFS分块存储的基本思想四、掌握HDFS读写流程原创 2021-04-23 10:50:33 · 107 阅读 · 0 评论 -
Hadoop-第一周
一、熟悉集群环境1.1搭建Hadoop集群环境1.2熟悉Hadoop配置文件中的基本配置项元数据目录数据目录1.3掌握Hadoop集群各服务的启停二、熟悉Hadoop基本操作2.1熟悉常用的HDFS shell命令2.2掌握通过客户端API读写HDFS的方式...原创 2021-04-19 15:38:09 · 122 阅读 · 0 评论