hadoop伪分布式搭建

Hadoop伪分布模式

配置映射

[root@master software]# vim /etc/hosts
最下面增加自己ip和映射名
ip 映射名

配置自己的免密登录

[root@master software]# ssh-keygen
三次回车
[root@master software]# ssh-copy-id master

解压安装包

[root@master software]# tar -zxvf jdk-8u144-linux-x64.tar.gz -C /usr/local/src
[root@master software]# tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local/src
[root@master src]# mv hadoop-2.6.0/ hadoop
[root@master src]# mv jdk1.8.0_144/ java       //更名

配置环境变量

[root@master src]# vim /etc/profile
[root@master src]# source /etc/profile

##java
export JAVA_HOME=/usr/local/src/java
export PATH=$PATH:$JAVA_HOME/bin
##hadoop
export HADOOP_HOME=/usr/local/src/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

修改配置文件

[root@master src]# cd /usr/local/src/hadoop/etc/hadoop/

core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/src/hadoop/tmp</value>
        </property>
</configuration>

hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>

yarn-site.xml

<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
        </property>
</configuration>

mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
        </property>
</configuration>

修改JAVA_HOME

[root@master hadoop]# vim hadoop-env.sh [root@master hadoop]# vim yarn-env.sh [root@master hadoop]# vim mapred-env.sh

声明集群

[root@master hadoop]# vim slaves

格式化NameNode

[root@master hadoop]# hdfs namenode -format

格式化成功

启动集群

[root@master hadoop]# start-all.sh

集群启动成功