纵向:
- (a)主节点负责启动:namenode、JobTracker
- (b)从节点负责启动:datanode、TaskTracker
横向:
(a)namenode、datanode 负责 hadoop 的文件系统
- namenode 由 core-site.xml 的
fs.default.name
设置
- namenode 由 core-site.xml 的
(b)JobTracker、TaskTracker 负责 hadoop 的MapReduce
- JobTracker 由 mapred-site.xml 的
mapred.job.tracker
设置;
- JobTracker 由 mapred-site.xml 的
$HADOOP_HOME is deprecated.
我们解压 Hadoop 压缩文件,并设置环境变量时,在/etc/profile
文件中,如果我们使用的是export HADOOP_HOME=/usr/local/hadoop
,然后再添加进PATH
路径下。
(伪)分布式系统搭建完毕后,使用start-all.sh
启动集群时,会在启动的过程中,显示$HADOOP_HOME is deprecated.
此类的警告信息,这并非是一项错误。一种可行的解决方案就是,再在/etc/profile
文件中添加:
export HADOOP_HOME_WARN_SUPPRESS=1
并重新编译profile
文件,也即source /etc/profile
。