Hadoop 伪分布式环境搭建

四、安装与配置hadoop
1、安装hadoop
将下载好的hadoop安装包拷入到  /usr/hadoop 文件夹中

cd 到/usr/java/ 目录下

tar -zxvf hadoop-2.8.4.tar.gz

解压完成

2、配置hadoop（修改五个配置文件）
进入到hadoop的配置文件目录中

/usr/hadoop/hadoop-2.8.4/etc/hadoop

2.1 配置 hadoop-env.sh
vi  hadoop-env.sh

将JAVA_HOME修改为jdk安装路径

2.2  配置core-site.xml
vi core-site.xml

 # 在<configuration>中添加配置

<configuration>

<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->

<property>

       <name>fs.defaultFS</name>

       <value>hdfs://hadoop:9000</value>

</property>

<!-- 指定hadoop运行时产生临时文件的存储目录 -->

<property>

       <name>hadoop.tmp.dir</name>

       <value>/usr/java/jdk1.8.0_181/tmp</value>

</property>

</configuration>

2.3 配置hdfs-site.xml
vi hdfs-site.xml

<configuration>

<!-- 指定HDFS副本的数量 -->

<property>

          <name>dfs.replication</name>

          <value>1</value>

</property>

</configuration>

2.4  配置  mapred-site.xml
将 mapred-site.xml.template复制一份并重命名为 mapred-site.xml

mv mapred-site.xml.template  mapred-site.xml

vi   mapred-site.xml

# 配置mapred-site.xml <configuration>

<!-- 指定mr运行在yarn上 -->

<property>

          <name>mapreduce.framework.name</name>

          <value>yarn</value>

</property>

</configuration>

2.5  配置yarn-site.xml
vi  yarn-site.xml

<configuration>

<!-- 指定YARN的老大（ResourceManager）的地址 -->

 <property>

      <name>yarn.resourcemanager.hostname</name>

       <value>hadoop</value>

</property>

<!-- reducer获取数据的方式 -->

<property>

          <name>yarn.nodemanager.aux-services</name>

          <value>mapreduce_shuffle</value>

</property>

</configuration>

保存退出，配置完成！

3、格式化hdfs
cd到bin目录下

./hdfs namenode -format

看见这一行提示即表示格式化成功

4、启动并测试hdfs
cd 到sbin目录下

启动  start-all.sh

start-all.sh
--------------------- 
作者：MDbabyface 
来源：CSDN 
原文：https://blog.csdn.net/MDbabyface/article/details/82555592 
版权声明：本文为博主原创文章，转载请附上博文链接！