cenos7hadoop伪分布式搭建

 

 

我的hadoop安装在了 opt/soft 目录下

前置条件 1.hadoop安装

               2.jdk安装

一、修改配置文件：core-site.xml，hdfs-site.xml，yarn.site.xml，mapred-site.xml

！！！！四个文件的配置内容均放置在内

1.core-site.xml

    1. 进入配置文件目录下

cd /opt/soft/hadoop/etc/hadoop

    2.打开配置文件

vim core-site.xml

   3.进行配置

<!--指定HDFS中NameNode的地址-->
<property>
<name>fs.defaultFS</name>
#hadoop1是主机名，也可以是ip地址
<value>hdfs://hadoop1:9000</value>
</property>

<!--指定Hadoop运行时产生文件的存储目录-->
<property>
<name>hadoop.tmp.dir</name>
#value里是存储的路径opt下的temp自己创建，data自动生成
<value>/opt/temp/data</value>
</property>

    2.hdfs-site.xml

     打开配置文件

vim hdfs-site.xml

            进行配置

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

 

    3.yarn.site.xml

     打开配置文件

 vim yarn.site.xml

    进行配置

<!--reducer获取数据的方式-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--指定yarn的Resourcemanager的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
#我的主机名是hadoop1
<value>hadoop1</value>
</property>

    4.mapred-site.xml

     1.复制mapred -site.xml.template 文件为 cp mapred -site.xml

cp mapred -site.xml.template mapred -site.xml

     2. 打开配置文件.

vim .mapred-site.xml

    3.进行配置

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

5.修改hadoop-env.sh和yarn-env.sh的JAVA_HOME

 vim hadoop-env.sh

 vim yarn-env.sh

jdk安装的位置

export JAVA_HOME=/opt/soft/jdk

二、格式化namenode

hdfs namenode -format

三、启动进程

1.启动hdfs进程

start.dfs.sh

2.启动yarn进程

start-yarn.sh

3.查看已启动进程

jps