HDFS
legendary Captain
这个作者很懒,什么都没留下…
展开
-
zookeeper客户端命令行操作
客户端命令行操作 命令基本语法 功能描述 help 显示所有操作命令 ls path [watch] 使用 ls 命令来查看当前znode中所包含的内容 ls2 path [watch] 查看当前节点数据并能看到更新次数等数据 create 普通创建 -s 含有序列 -e 临时(重启或者超时..原创 2020-10-04 14:00:20 · 126 阅读 · 0 评论 -
MapReduce调优
目录Hadoop优化1 .MapReduce 跑的慢的原因2. MapReduce优化方法 2.1 数据输入 2.2 Map阶段 2.3 Reduce阶段 2.4 I/O传输 2.5 数据倾斜问题 2.6 常用的调优参数3. HDFS小文件优化方法 3.1 HDFS小文件弊端 3.2 小文件解决方案Hadoop优化 1 .MapReduce 跑的慢的原因...原创 2020-09-17 17:47:36 · 549 阅读 · 0 评论 -
zookeeper
zookeeper目录zookeeper目录一、zookeeper入门 1.1概述 1.2特点 1.3数据结构 1.4应用场景二、客户端命令行操作三、zookeeper内部原理 3.1节点类型 3.2stat结构体 3.3监听器原理(重点) 3.4选举机制(重点) 3.5写数据流程一、zookeeper入门 1.1概述 Zoo...原创 2020-09-12 20:19:29 · 334 阅读 · 0 评论 -
HDFS
学习目标:HDFS学习内容: HDFS产生背景 HDFS的定义 HDFS的优缺点 HDFS的组成结构 HDFS文件块大小 HDFS写数据流程(重点) 网络拓扑-节点距离计算 机架感知 HDFS读数据流程(重点) NameNode和secondaryNameNode(重点) DataNode(重点) HDFS 2.X新特性 内容:1.HDFS产生背景随着数据量越来越大,在一个原创 2020-09-12 10:44:51 · 172 阅读 · 0 评论