Hadoop伪集群搭建

伪集群搭建

一、 安装JDK
二、 安装Hadoop

1、 将hadoop解压到某指定路径，假设为/home/hadoop/apps/目录
tar –vxzf hadoop-xxx.tar.gz –C /home/hadoop/apps/
2、 修改配置文件
修改core-site.xml

<configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://jredu001:9000</value>
        </property>
        <!-- 指定hadoop临时目录 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/hadoop/apps/hd/tmp</value>
        </property>
</configuration>

修改hdfs-site.xml

<configuration>
        <!--设置副本数量-->
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
</configuration>

修改mapred-site.xml

<configuration>
        <!-- 指定mr框架为yarn方式 -->
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
</configuration>

修改yarn-site.xml

<configuration>
    <!-- Site specific YARN configuration properties -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
</configuration>

修改slaves

localhost

修改hadoop-env.sh
指定JAVA_HOME

export JAVA_HOME=/home/hadoop/apps/jdk1.8.0_45

修改yarn-env.sh
指定JAVA_HOME

export JAVA_HOME=/home/hadoop/apps/jdk1.8.0_45

3、 设置环境变量
vi /etc/profile

export HADOOP_HOME=/home/hadoop/apps/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

//设置生效

source /etc/profile

4、格式化

hdfs namenode –format

5、启动hdfs

start-dfs.sh

6、启动yarn

start-yarn.sh

三、 查看进程

jps 

查看namenode

http://localhost:50070

查看resourcemanager

http://localhost.8088