hadoop伪分布式搭建详细步骤

伪分布式搭建（看了这个还搭建不出来伪分布式？根本不可能！）

1.修改映射文件

vi /etc/hosts

在最末尾添加

192.168.182.66（你自己的IP）master(自己主机名)

2.上传jdk和hadoop的压缩包并解压

tar -xvzf hadoop-2.7.1.tar.gz

tar -xvzf jdk-8u121-linux-x64.tar.gz

解压后删如下图所示：（压缩包我已经删除）

3.配置java和hadoop的环境变量

vi /etc/profile

在最后一行添加如下图所示：（路径写自己文件的路径）

4.免密登录设置

（1）ssh-keygen

不需要设置密码，连续按三次回车键就可以，生成图如下所示：

（2）ssh-copy-id master(自己主机名或者ip)

中间过程需要输入yes,之后输入root密码，如下所示：密码隐藏看不到，输入回车就可以。

5.对hadoop文件进行配置

cd /cj/hadoop-2.7.1/etc/hadoop

需要配置的文件如下图所示；但是在mapred-site.xml.template需要注意，复制一份命名为mapred-site.xml，修改复制文件。

具体需要修改的文件如下所示：

（1）修改core-site.xml文件

vi core-site.xml

不是完全复制，端口号前面是自己的主机名。

<configuration>

<!--【这里的值指的是默认的HDFS路径。这里只有一个HDFS集群，在这里指定！该值来自于hdfs-site.xml中的配置】-->      

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://master:9000</value>

    </property>

</configuration>

（2）修改hdfs-site.xml文件

vi hdfs-site.xml

<configuration>

 <!--【指定DataNode存储block的副本数量。-->    

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

</configuration>

 

（3）修改mapred-site.xml文件

复制

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

<configuration>

<!--指定MR运行的模式--> 

        <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

        </property>

</configuration>

（4）修改yarn-site.xml文件

 vi yarn-site.xml

<configuration>

<!--指定NodeManager上运行的附属服务。需要配置成mapreduce_shuffle，才能运行MR程序，默认值为:””--> 

<!-- Site specific YARN configuration properties -->

        <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

        </property>

</configuration>

（5） 修改hadoop-env.sh

 vi hadoop-env.sh

修改为自己java文件的路径。

（6）设置slaves文件

 vi slaves

把原来的内容删除，修改为自己的主机名，一般都是localhost，改为自己主机名就可以。

6.格式化集群

hdfs namenode -format

出现如下如成功提示证明伪分布式搭建成功。

7.启动并查看

start-all.sh

jps查看运行节点。

根据文章一步一步做完全不会出现任何问题，这是通过实践一步一步最后的结果。有问题可以随时留言咨询哈！

若哪篇博客比我的详细请留言，我要去为他点赞。