1、搭建三个节点,命名为hadoop0、hadoop1、hadoop2。
其中hadoop0是主节点(NameNode、JobTracker、SecondaryNameNode),hadoop1、hadoop2是从节点(DataNode、TaskTracker)。
2、具体搭建步骤
自己配置linux的初始化环境,参见第一天的伪分布操作。 2.1 在hadoop0上删除/usr/local/hadoop目录下的logs和tmp文件夹。 在删除之前先要关闭hadoop0上的伪分布的hadoop。 2.2 在hadoop0上修改文件/etc/hosts,内容修改后如下 192.168.80.100 hadoop0 192.168.80.101 hadoop1 192.168.80.102 hadoop2 2.3 复制hadoop0上的/etc/hosts到其他节点 scp /etc/hosts hadoop1:/etc/ scp /etc/hosts hadoop2:/etc/ 2.4 设置各节点之间的ssh免密码登录 (1)在hadoop1上,把hadoop1上的公钥复制给hadoop0,执行命令ssh-copy-id -i hadoop0 (2)在hadoop2上,把hadoop2上的公钥复制给hadoop0,执行命令ssh-copy-id -i hadoop0 (3)把hadoop0上的authorized_keys复制到hadoop1、hadoop2,执行命令 scp /root/.ssh/authorized_keys hadoop1:/root/.ssh scp /root/.ssh/authorized_keys hadoop2:/root/.ssh 2.5 复制hadoop0上的/usr/local/jdk、/usr/local/hadoop到hadoop1、hadoop2的对应目录下 scp -r /usr/local/jdk hadoop1:/usr/local scp -r /usr/local/jdk hadoop2:/usr/local
scp -r /usr/local/hadoop hadoop1:/usr/local scp -r /usr/local/hadoop hadoop2:/usr/local 2.6 复制hadoop0上的/etc/profile到hadoop1、hadoop2上,并且还要在hadoop1、hadoop2上执行source /etc/profile 2.7 修改集群的配置信息, 修改hadoop0节点的配置信息,其他节点不必修改 (1)NameNode节点的位置在配置文件$HADOOP_HOOME/conf/core -site.xml中fs.default.name定义的。 (2)JobTracker节点的位置在配置文件$HADOOP_HOME/conf/mapred-site.xml中mapred.job.tracker定义的。 (3)SecondaryNameNode节点的位置在配置文件$HADOOP_HOME/conf/masters定义的,内容修改为hadoop0。 (4)DataNode和TaskTracker节点的位置在配置文件$HADOOP_HOME/conf/slaves定义的,内容修改为hadoop1、hadoop2。 2.8 在hadoop0上执行格式化命令hadoop namenode -format 2.9 在hadoop0上启动集群,执行命令start-all.sh |
3、动态增加新的从节点的方法
3.1 确定hadoop0作为从节点 3.2 修改hadoop0上的slaves文件,增加hadoopX 3.3 在hadoop0上启动DataNode、TaskTracker进程,执行命令 hadoop-daemon.sh start datanode hadoop-daemon.sh start tasktracker 3.4 在hadoop0上刷新集群节点结构,执行命令 hadoop dfsadmin -refreshNodes |
4、修改副本数:hadoop fs -setrep 2 /hello
5、安全模式
集群在刚启动时,会进入安全模式,默认是30秒钟。 在安全模式下,系统对block进行检查。 在安全模式期间,禁止客户端的create、delete操作。 hadoop dfsadmin -safemode leave|get|enter |
删除当前目录下的所有文件:rm-rf *
Java进程管理:jconsole、jvisualVM
集群安装监管:ganglia(监管)、ambari(安装)