HDFS
潘书鹏的BigData
用双手改造世界!!!
展开
-
Hadoop的组成部分
Hadoop的组成部分有:HDFS: 海量数据的存储系统Map Reduce: 海量数据的计算系统(计算框架)YARN: 集群资源管理(调度)的框架。HDFS管理者:NameNode作用:负责管理,管理集群内各个节点。负责管理整个文件系统的元数据(指的是数据的存放位置或存放路径)或名字空间辅助管理者:SecondaryNameNode作用:责辅助NameNode管理工...原创 2019-11-04 20:24:25 · 27953 阅读 · 0 评论 -
HDFS介绍
文章目录1. HDFS 副本存放机制2. HDFS数据写入流程3. HDFS数据读取流程4. HDFS数据完整性5. HDFS适用场景1. HDFS 副本存放机制第一份数据来源于客户端第二份存放的位置是与第一个副本在相同机架上,且不在同一个节点,按照一定的规则(cpu 内存 IO是用率,和硬盘剩余容量)找到一个节点存放第三份副本的存放位置是与第一第二份数据副本不在同一个机架上,且逻辑与存放...原创 2019-11-04 20:52:55 · 5980 阅读 · 0 评论 -
HDFS新增节点与删除节点
准备工作:创建一台全新的虚拟机关闭防火墙修改主机名给IP起别名关闭selinuxssh免密登录1. 新增节点1.1 在主节点创建dfs.hosts文件在node01也就是namenode所在的机器的/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下添加如下主机名称(包含新服役的节点)[root@node01 Hadoo...原创 2019-11-07 16:43:40 · 27478 阅读 · 0 评论