Hadoop完全分布式搭建

Hadoop完全分布式搭建

1、上传压缩包并解压到opt目录下，改名hadoop
2、配置环境变量
export HADOP_HAOME=/opt/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE=$HADOOP_HOME/lib/native

export PATH=$ PATH:$HADOOP_HOME/bin: $HADOOP_HOME/sbin

export HADOOP_INSTALL=$HADOOP_HOME

保存退出后 source /etc/profilr使其生效
3、输入 cd /opt/hadoop/etc/hadoop
vi core-site.xml配置

vi hdfs-site.xml配置

vi mapred-site.xml.template配置

vi yarn-site.xml配置

vi slaves写入

vi /etc/hosts最后加入

vi hadoop-env.sh插入一行

四、添加互信
输入ssh-keygen，一直按enter，直到出现密钥

**复制密钥校验文件：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
传输到需要互信的机器：
ssh-copy-id -i .ssh/id_rsa.pub -p22 root@192.168.175.32
ssh-copy-id -i .ssh/id_rsa.pub -p22 root@192.168.175.33
在这里可以填写主机名，也可以填写ip地址，出现如下算成功
**

其他机器重复以上步骤即可
五、格式化：hadoop namenode -format
启动：start-all.sh
格式化当底部出现o才算成功，如果error则需查找错误

注意：每次关闭后启动必须先删除hadoop目录下的logs、tmp文件夹
及
rm -rf logs
rm -rf tmp
然后进行格式化，最后启动