Hadoop环境搭建

1.进入etc目录，修改hadoop-env.sh文件

修改JAVA_HOME=${JAVA_HOME}为JAVA_HOME=真实jdk目录

2.修改core-site.xml

<configuration>

   <property>

<!-- 修改hadoop默认文件系统-->

      <name>fs.defaultFS</name>

      <value>hdfs://主机地址:9000</value>

</property>
<property>
    <!-- hadoop临时文件存放路径-->
    <name>hadoop.tmp.dir</name>
    <value>/home/app/data</value>
</property>
</configuration>

3.修改hdfs-site.xml

<configuration>
   <property>
      <!-- 配置文件的副本数-->
      <name>dfs.repliation</name>
     <value>1</value>
</property>

</configuration>
4.修改mapdred-site.xml
<configuration>

    <!-- 配置reduce使用yarn调度框架，否则单机运行-->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
5.修改yarn-site.xml
<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>主机名</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-service</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>
6.配置hadoop环境变量
#vim /etc/profile
export HADOOP_HOME=hadoop路径
export PATH = $PATH:$HADOOP_HOME/bin
7.格式化hadoop文件系统
hadoop namenode -format
8.启动hadoop
$start-dfs.sh
$start-yarn.sh
9.验证是否成功
$jps