![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
谭金刚
这个作者很懒,什么都没留下…
展开
-
HDFS(三)执行流程、API操作
目录HDFS(三)执行流程一、dfs目录二、读取流程三、写入流程四、删除流程五、API操作HDFS(三)执行流程 HDFS上的数据不允许修改,Hadoop2.0后允许追加。一、dfs目录dfs目录一般表示HDFS的存储目录a. dfs/name表示NameNode的持久化目录b. dfs/data表示DataNode的存储目录c. dfs/namesecondary表示Secon...原创 2019-12-28 21:32:23 · 256 阅读 · 0 评论 -
HDFS(二)命令
目录HDFS(二)命令一、常见命令二、其他命令HDFS(二)命令一、常见命令命令说明hadoop fs -mkdir /park在hdfs 的根目录下,创建 park目录hadoop fs -ls /查看hdfs根目录下有哪些目录hadoop fs -put /root/1.txt /park将linux操作系统root目录下的1.txt...原创 2019-12-24 21:05:09 · 108 阅读 · 0 评论 -
HDFS的机架感知策略
机架感知是一种计算不同计算节点(TT)的距离的技术,用以在任务调度过程中尽量减少网络带宽资源的消耗,这里用尽量,想表达的是当一个TT申请不到本地化任务时,JT会尽量调度一个机架的任务给他,因为不同机架的网络带宽资源比同一个机架的网络带宽资源更可贵。当然,机架感知不仅仅用在MR中,同样还用在HDFS数据块备份过程中(第一个replica选择本节点【如果上传是DataNode】或者随机的一个DN(...转载 2019-12-24 20:51:12 · 1618 阅读 · 0 评论 -
HDFS(一)基本概念
目录HDFS一、概述二、基本结构三、Block四、NameNode五、DateNode六、SecondaryNameNode七、多副本放置策略机架感知策略HDFS一、概述是Hadoop中用于数据的分布式存储的组件根据Google论文《The Google File System》来设计的二、基本结构在HDFS中,对于文件是进行切块保存HDFS中有2类主要的节点:NameNode...原创 2019-12-18 22:56:55 · 266 阅读 · 0 评论