Hadoop Standalone 单机模式

请先看完 “集群搭建必看！初期准备工作！”

 

所需文件：hadoop-2.7.4.tar.gz

 

1.安装hadoop2.7

$ sudo mkdir -p /colony/hadoop //创建hadoop安装目录

$ sudo tar -zxvf hadoop-2.7.4.tar.gz -C /colony/hadoop/

$ sudo chown -R hadoop /colony //将目录归属为hadoop用户

$ sudo vim /etc/profile //配置环境变量

 

export HADOOP_HOME=/colony/hadoop/hadoop-2.7.4

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

 

$ sudo source /etc/profile //使配置文件生效

2.修改配置文件（以下所有配置都是在配置文件中添加）

1）hadoop-env.sh

 

$ vim hadoop-env.sh

 

export JAVA_HOME=/usr/java/jdk1.8.0_151 //配置java环境

 

 

2) core-site.xml

 

<configuration>

 <!-- namenode的地址 -->

        <property>

                <name>fs.defaultFS</name>

                <value>hdfs://remote01:9000</value>

        </property>

 <!-- hadoop运行时产生文件的存放目录 -->

        <property>

                <name>hadoop.tmp.dir</name>

                <value>/colony/hadoop/hadoop-2.7.4/tmp</value>

        </property>

</configuration>

 

 

3) hdfs-site.xml

 

<configuration>

<!-- 配置文件备份数量 -->

        <property>

                <name>dfs.replication</name>

                <value>1</value>

        </property>

</configuration>

 

 

4) mapred-site.xml

 

<configuration>

<!-- 配置mapreduce的工作环境 -->

        <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

        </property>

</configuration>

 

 

5) yarn-site.xml

<configuration>

<!-- 配置mapreduce的辅助服务 -->

        <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

        </property>

<!-- 配置resourcemanager的地址 -->

        <property>

                <name>yarn.resourcemanager.hostname</name>

                <value>remote01</value>

        </property>

</configuration>

 

3.格式化文件系统

$ hdfs namenode -format

4.启动hdfs和yarn

$ ./start-dfs.sh

$ ./start-yarn.sh

$ jps

 

5.通过浏览器查看hdfs和yarn（IP为hadoop所在主机IP）

192.168.10.10:50070

192.168.10.10:8088

 

 

 

至此Hadoop Standalone安装完毕，谢谢阅读！