hadoop环境安装步骤

1.---使用root用户创建hadoop用户
groupadd hadoop
useradd -g hadoop hduser
passwd hduser

修改sudoers文件访问权限
chmod 777 /etc/sudoers
编辑sudoers文件 在root ALL=(ALL) ALL 后面添加行hduser ALL=(ALL) ALL
还原默认权限
chmod 440 /etc/sudoers

使用root用户重启虚拟机 reboot，切换到hduser用户登录

2.---安装JDK
检查已安装的jdk
rpm -qa | grep jdk
拥有sudo权限的用户强制卸载jdk
sudo rpm -e --nodeps  jdk包名

安装自己的jdk
sudo rpm -ivh jdk-7-linux-x64.rpm

查看jdk安装路径   ->/usr/java/jdk1.7.0
rpm -qa jdk -l

配置环境变量
sudo gedit /etc/profile
文件末尾输入
export JAVA_HOME=/usr/java/jdk1.7.0
export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

使环境变量生效
source /etc/profile

验证jdk
java　-version


3.配置本机hduser用户SSH免密码登录到node1(伪分布式)

生成公钥，私钥
ssh-keygen -t rsa

为自己的主机起别名，作为伪分布式datanode

sudo gedit /etc/sysconfig/network
添加一行-》 HOSTNAME=node1

sudo gedit /etc/hosts
添加一行-》 当前主机IP地址  node1

ssh-copy-id node1
将公钥发给node1

4.安装hadoop

tar -zxvf hadoop-2.6.0.tar.gz

mv hadoop-2.6.0 hadoop

配置hadoop环境变量
sudo gedit /etc/profile 添加3行
#hadoop
export HADOOP_HOME=/home/hduser/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

source /etc/profile

5.配置hadoop

复制7个配置文件到hadoop/etc/hadoop/(注意伪分布式slave里面只能填node1)

6.格式化namenode
 ~/hadoop/bin/hdfs namenode -format          

7.分别启动HDFS、YARN
~/hadoop/sbin/start-dfs.sh
~/hadoop/sbin/start-yarn.sh
（或者~/hadoop/sbin/start-all.sh）

8.查看集群状态
~/hadoop/bin/hdfs dfsadmin -report

9.在浏览器当中查看HDFS运行状态
url->http://node1:50070
本机访问虚拟机
1.关闭虚拟机防火墙
2.本机hosts文件添加1行
虚拟机IP地址 node1
systemctl stop firewalld.service
10.停止hadoop
~/hadoop/stop-all.sh