centos上安装Hadoop

在虚拟机centos上安装Hadoop

1. 将需要的资源文件拷贝到虚拟机上
   通过共享文件夹的方式进行拷贝。（注意：如果/mnt/hgfs/找不到共享文件夹，输入命令#vmhgfs-fuse /mnt/hgfs/，重启终端即可解决）
2. 查看虚拟机的jdk版本

#rpm -qa | grep jdk

3. 下载原来的jdk，安装jdk-7u79-linux-x64.tar.gz

#tar zxvf jdk-7u79-linux-x64.tar.gz
#mv jdk1.7.0_79 /usr/
#vi /etc/profile
#source /etc/profile

#java -version

4. 安装Hadoop

#tar zxvf hadoop-2.7.7.tar.gz
#mv hadoop-2.7.7 /usr/
#vi /etc/profile
#source /etc/profile

5. 配置IP

# vi /etc/hosts

6. 配置ssh

# cd ~/.ssh/  #若无SSH目录，则需要先执行一次ssh localhost
# ssh-keygen -t rsa   #会有提示，直接按回车即可
# cat id_rsa.pub >> authorized_keys  #加入授权
# chmod 600 ./authorized_keys  #修改文件权限

7. 配置Hadoop

# vi /usr/hadoop-2.7.7/etc/hadoop/hadoop-env.sh

# vi /usr/hadoop-2.7.7/etc/hadoop/yarn-env.sh

# vi /usr/hadoop-2.7.7/etc/hadoop/core-site.xml

# vi /usr/hadoop-2.7.7/etc/hadoop/hdfs-site.xml

# vi /usr/hadoop-2.7.7/etc/hadoop/mapred-site.xml

# vi /usr/hadoop-2.7.2/etc/hadoop/yarn-site.xml

8. 关闭防火墙
   
9. 格式化Hadoop

# hdfs namenode -format

11. 启动dfs以及yarn

# start-all.sh  #或者执行以下俩条命令start-dfs.sh start-yarn.sh

12. 验证
    
    
    参考链接