Hadoop完全分布式搭建
1、上传压缩包并解压到opt目录下,改名hadoop
2、配置环境变量
export HADOP_HAOME=/opt/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE=$HADOOP_HOME/lib/native
export PATH=$ PATH:$HADOOP_HOME/bin: $HADOOP_HOME/sbin
export HADOOP_INSTALL=$HADOOP_HOME
保存退出后 source /etc/profilr使其生效
3、输入 cd /opt/hadoop/etc/hadoop
vi core-site.xml配置
vi hdfs-site.xml配置
vi mapred-site.xml.template配置
vi yarn-site.xml配置
vi slaves写入
vi /etc/hosts最后加入
vi hadoop-env.sh插入一行
四、添加互信
输入ssh-keygen,一直按enter,直到出现密钥
**复制密钥校验文件:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
传输到需要互信的机器:
ssh-copy-id -i .ssh/id_rsa.pub -p22 root@192.168.175.32
ssh-copy-id -i .ssh/id_rsa.pub -p22 root@192.168.175.33
在这里可以填写主机名,也可以填写ip地址,出现如下算成功
**
其他机器重复以上步骤即可
五、格式化:hadoop namenode -format
启动:start-all.sh
格式化当底部出现o才算成功,如果error则需查找错误
注意:每次关闭后启动必须先删除hadoop目录下的logs、tmp文件夹
及
rm -rf logs
rm -rf tmp
然后进行格式化,最后启动