一、Hadoop平台搭建

目录

一、Hadoop平台搭建

1.首先需要解压安装包，

2.配置hadoop环境变量 

3.配置Yarn环境变量文件

4.配置核心组件文件

5.配置文件系统

 6.配置yarn-site.xml文件

7.配置MapReduce计算框架文件

​8.配置master的slaves文件

 9.复制master上的Hadoop到Slave节点

二、Hadoop启动

1.格式化系统

1.配置Linux系统的环境变量

2.格式文件系统命令

2.启动和关闭hadoop

---

一、Hadoop平台搭建

1.首先需要解压安装包，

因为提前知道了安装位置，并已经进行解压，就直接展示，解压命令是tar -zxvf +文件名字

2.配置hadoop环境变量 

gedit /home/csu/hadoop-2.6.0/etc/hadoop/hadoop-env.sh（注意路径也就是当前目录）    在文件的前面找到“export JAVA_HOME={JAVA_HOME}”将其修改为实际的JDK安装路径

 

3.配置Yarn环境变量文件

gedit /home/csu/hadoop-2.6.0/etc/hadoop/yarn-env.sh  

在文件的前面部份找到“# export JAVA_HOME=/home/y/libexec/jdk1.6.0/ ”

将其改为“export JAVA_HOME=/usr/java/jdk1.7.0_71/”编辑完毕保存退出即可

 

4.配置核心组件文件

gedit /home/csu/hadoop-2.6.0/etc/hadoop/core-site.xml

需要将下面的配置代码放在文件的<configuration>和</configuration>之间

  <configuration>

  <property>

      <name>fs.defaultFS</name>

      <value>hdfs://master0:9000</value>

  </property>

  <property>

      <name>hadoop.tmp.dir</name>

      <value>/home/csu/hadoopdata</value>

  </property>

</configuration>

编辑完毕保存退出即可

 

5.配置文件系统

 gedit /home/csu/hadoop-2.6.0/etc/hadoop/hdfs-site.xml

需要将下面的代码填充到文件的<configuration>和</configuration>之间

  <property>

    <name>dfs.replication</name>

    <value>1</value>

 </property>

编辑完毕保存退出即可

 6.配置yarn-site.xml文件

gedit /home/csu/hadoop-2.6.0/etc/hadoop/yarn-site.xml

将下面的代码填充到文件的<configuration>和</configuration>之间

 <property>

     <name>yarn.nodemanager.aux-services</name>

     <value>mapreduce_shuffle</value>

  </property>

  <property>

     <name>yarn.resourcemanager.address</name>

     <value>master0:18040</value>

  </property>

  <property>

     <name>yarn.resourcemanager.scheduler.address</name>

     <value>master0:18030</value>

  </property>

  <property>

     <name>yarn.resourcemanager.resource-tracker.address</name>

     <value>master0:18025</value>

  </property>

  <property>

     <name>yarn.resourcemanager.admin.address</name>

     <value>master0:18141</value>

  </property>

  <property>

     <name>yarn.resourcemanager.webapp.address</name>

     <value>master0:18088</value>

  </property>

编辑完毕保存退出即可

 

7.配置MapReduce计算框架文件

cp  /home/csu/hadoop-2.6.0/etc/hadoop/mapred-site.xml.template

/home/csu/hadoop-2.6.0/etc/hadoop/mapred-site.xml

然后编辑这个文件

gedit /home/csu/hadoop-2.6.0/etc/hadoop/mapred-site.xml

将下面代码填充到文件的<configuration>和</configuration>之间

 <property>

  <name>mapreduce.framework.name</name>

  <value>yarn</value>

 </property>

编辑完毕保存退出即可

 

 

8.配置master的slaves文件

gedit /home/csu/hadoop-2.6.0/etc/hadoop/slaves

 根据自己搭建的实际情况进行编辑，现在只安装一个从节点slave0,就在里面输入内容

     slave0

 9.复制master上的Hadoop到Slave节点

有几个从节点就要复制几次，现在只有一个slave0从节点，就复制一次

二、Hadoop启动

1.格式化系统

1.配置Linux系统的环境变量

gedit  ~/.bash_profile

   在这个文件的尾部追加下面的代码：

   #HADOOP

export HADOOP_HOME=/home/csu/hadoop-2.6.0

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

 保存退出后执行“source  ~/.bash_profile”命令，使修改后的配置生效。

（同时也要在其他节点进行上述配置）

2.格式文件系统命令

hdfs namenode -format

 注意：要想启动hadoop必须开启从节点。

2.启动和关闭hadoop

切换到hadoop目录下

sbin/start-all.sh   (启动)

sbin/stop-all.sh   (关闭)

jps

执行jps查看进程，如果有四个进程：

SecondaryNameNode、ResourceManager、NameNode和Jps

则表明主节点启动成功

从节点上执行jps,看到有NodeManager、Jps和DataNode

三个进程表示从节点也安装成功