hadoop环境搭建（三）

0.配置java环境，主机名和ip的映射，ssh免密登录，关闭防火墙

1.上传hadoop包至apps下，然后解压缩:tar -zxvf hadoop.tar.gz

2.配置hadoop-env.sh:
  export JAVA_HOME=/usr/java/jdk1.7.0_45
3.配置core-site.xml:
  <!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
  <property>
<name>fs.defaultFS</name>
<value>hdfs://linux1:9000</value>
  </property>
  <!-- 指定hadoop运行时产生文件的存储目录 -->
  <property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hdpdata</value>
   </property>
4.配置hdfs-site.xml
   <!-- 指定HDFS副本的数量 -->
   <property>
<name>dfs.replication</name>
<value>2</value>
   </property>
5.配置mapred-site.xml(mv mapred-site.xml.template mapred-site.xml)
  mv mapred-site.xml.template mapred-site.xml
  vi mapred-site.xml
  <!-- 指定mr运行在yarn上 -->
  <property>
  <name>mapreduce.framework.name</name>
<value>yarn</value>
  </property> 
6.配置yarn-site.xml
  <!-- 指定YARN的老大（ResourceManager）的地址 -->
  <property>
<name>yarn.resourcemanager.hostname</name>
<value>linux1</value>
  </property>
  <!-- reducer获取数据的方式 -->
  <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
  </property>
7.将配置好的hadoop复制到其他机器中:
  scp -r apps linux2:/home/hadoops/ 
8.配置hadoop环境变量:
  vi /etc/proflie
export JAVA_HOME=/usr/java/jdk1.7.0_45
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.4

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

9.将hadoop配置文件拷贝到其他机器:
  sudo scp /etc/profile linux2:/etc/
10.格式化namenode（是对namenode进行初始化）
   hadoop namenode -format
11.启动namenode:
   进入sbin目录下，hadoop-daemon.sh start namenode,打开页面:linux1:50070查看是否启动成功
   关闭namenode:hadoop-daemon.sh stop namenode
12.启动datanode:
   进入sbin目录下，hadoop-daemon.sh start datanode
   关闭datanode:hadoop-daemon.sh stop datanode
13.将主机名添加到slaves文件中
14.脚本一次性启动hdfs:start-dfs.sh

15.脚本一次性启动yarn:start-yarn.sh

16.namenode的工作目录默认是在${hadoop.tmp.dir}/dfs/name下，在hdfs-site.xml配置，而hadoop.tmp.dir是在core-site.xml配置的
   如果更改namenode的工作目录，则修改linux1中的hdfs-site.xml:
   <property>
      <name>dfs.name.dir</name>
      <value>/home/hadoop/name1,/home/hadoop/name2</value>
   </property>
   name1和name2中的内容完全一样，最好将name1和name2配置在不同的服务器中