hadoop
smile_afei
这个作者很懒,什么都没留下…
展开
-
YARN
mapreduce是在很多机器上启动,并且先启动maptask,当众多的maptask都处理完自己的数据之后,还需要启动众多的reducetask,这个过程就需要启动一个自动化的调度平台–YARN。这个平台有两个角色,分别是主节点Resource manager(1台)和Node manager(N台)。Resource manager一般安装在一台专门的机器上,而Node manager应该...原创 2019-12-04 15:05:32 · 142 阅读 · 0 评论 -
checkpoint机制与hdfs的读写文件
刚复习完hadoop的相关知识,把它拿来做一个总结,方便日后查看也希望能解决大家的疑惑。checkpoint机制首先我们知道hadoop中存在namenode和datanode,datanode主要是用来存放数据而namenode的责任主要有三个:管理元数据,维护目录树,相应客户请求。元数据的格式为路径,block的副本数,block_name,以及存放block的datanode那...原创 2019-12-03 21:13:38 · 424 阅读 · 0 评论 -
hadoop集群配置的一些命令
通过几天的配环境,总结一下常用的一些命令以及一些文件的用途,方便以后的学习,也希望能够带给大家帮助:我最原始的目录是这样的:etc目录这里的etc中放了配置环境变量的文件,hostname中放的是主机名,如图hosts中放入的是集群中的所有主机profile中放入的是的jdk路径和hadoop路径root/apps目录我的目录是这样的:这里还有一个etc,这里的etc里...原创 2019-11-02 17:36:35 · 197 阅读 · 0 评论