Hadoop第一天

一、Hadoop集群搭建

yum -y install lrzsz			#安装lrzsz
mkdir -p /home/hadoop/apps		#在/home新建文件夹
将Windows中的两个文件传到Linux虚拟机上        
hadoop-2.8.0.tar.gz  和  jdk-7u67-linux-x64.gz

配置免密登录

vi /etc/hosts			#创建hosts文件
ssh-keygen				#设生成密钥
yum -y install openssh-clients.x86_64		#分别在三个节点上都安装ssh服务
ssh -copy id node1		#复制密钥到三个节点
ssh -copy id node2
ssh -copy id node3

查看防火墙状态

service iptables status

二、JDK环境安装

tar -zxvf jdk-8u181-linux-x64.tar.gz		#解压jdk
vi /etc/profile		#配置环境变量
添加内容：
export JAVA_HOME=/home/hadoop/apps/jdk1.8.0_181
export PATH=$JAVA_HOME/bin:$PATH
java -version		#查看Java是否存在

HADOOP安装

tar -zxvf hadoop-2.8.0.tar.gz		#解压Hadoop
vi /etc/profile		#配置环境变量
添加内容：
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.8.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile     #使hadoop命令生效
hadoop version			#查看Hadoop是否存在

修改配置文件

 cd /home/hadoop/apps/hadoop-2.8.0/etc/hadoop
 vi hadoop-env.sh
 vi core-site.xml
 vi hdfs-site.xml
 cp mapred-site.xml.template mapred-site.xml
 vi mapred-site.xml
 vi yarn-site.xml
 vi slaves
 mkdir -p /home/hadoop/apps		#分别在两个副节点上创建文件
 将之前在主节点安装好的jdk、/etc/profile、/etc/hosts文件分别发送到hsp02和hdp03上
 scp -r /home/hadoop/apps/jdk1.8.0_181/ hdp02:/home/hadoop/apps/ 
 scp -r /home/hadoop/apps/jdk1.8.0_181/ hdp03:/home/hadoop/apps/
 scp -r /home/hadoop/apps/hadoop-2.8.0 hdp02:/home/hadoop/apps/
 scp -r /home/hadoop/apps/hadoop-2.8.0 hdp03:/home/hadoop/apps/
 scp -r /etc/hosts hdp02:/etc
 scp -r /etc/hosts hdp03:/etc
 scp -r /etc/profile hdp02:/etc/profile
 scp -r /etc/profile hdp03:/etc/profile
  source /etc/profile		#分别在hdp02和hdp03上执行

三、启动集群

hadoop namenode -format		#初始化HDFS恢复到原始状态
start-all.sh		#自动化脚本启动
在hdp01上查看启动线程：
jps	  #SecondaryNameNode  DataNode  NodeMnager  NameNode  ResourceManager
在hdp02上查看启动线程：
jps	  #NodeManager  DataNode  
在hdp03上查看启动线程：
jps	  #NodeManager  DataNode