linux做伪分布时ip设置,Linux中伪分布的搭建

一伪分布模式

特点：在单机上，模拟一个分布式的环境，具备Hadoop的所有功能

HDFS：NameNode + DataNode + SecondaryNameNode

Yarn：ResourceManager + NodeManager

(*)hadoop-env.sh    JAVA_HOME    /root/training/jdk1.8.0_144

1：进入Hadoop目录下

cd ~/training/hadoop-2.7.3/etc/hadoop

进入之后如下只有有个

二：需要配置的文件目录如下：

首先进行配置  (*)hdfs-site.xml

dfs.replication

1

(1)将如上代码放入到  hdfs-site.xml中的

进行命令 进入到hdfs-site.xml文件中  vi hdfs-site.xml

并将上面的配置信息放入中，保存并退出。如下：

(2)进行配置   (*)core-site.xml

fs.defaultFS

hadoop.tmp.dir

/root/training/hadoop-2.7.3/tmp

首先创建一个tmp目录在 /root/training/hadoop-2.7.3 下。

(因为 HDFS数据块和元信息保存在操作系统的目录位置。。-默认是Linux的tmp目录,一定要修改。默认的tmp目录特点是一开机这里面的所有文件都会被删除了的)

返回到cd ../etc/hadoop/。进行命令  vi core-site.xml。然后将以上的配置信息加入到配置文件中的中，保存并退出

如下：

(3)进行配置(*)mapred-site.xml(默认没有这个文件)

而默认是mapred-site.xml.template。

mapreduce.framework.name

yarn

*********************************************************************8

这里我们将这个文件改为mapred-site.xml

命令： mv mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

将以上配置信息写入该配置文件中。保存并退出

(4)进行配置(*)yarn-site.xml

yarn.resourcemanager.hostname

bigdata111

yarn.nodemanager.aux-services

mapreduce_shuffle

进入该配置文件。

vi yarn-site.xml

并将如上的配置信息放入到里面。保存并退出

(5)将如上配置信息配置完成后并没结束。还要 对HDFS的NameNode进行格式化  -----> 目录：/root/training/hadoop-2.7.3/tmp

举例：软盘，需要格式化

命令：hdfs namenode -format

日志：Storage directory /root/training/hadoop-2.7.3/tmp/dfs/name has been successfully formatted.  如果出现该日志则表明格式化成功

三：欧克，以上伪分布就已经完全部署上了。看看我们的成果吧！！

首先来启动一下。直接启动所有  start-all.sh

(*)启动：

HDFS：start-dfs.sh

Yarn: start-yarn.sh

统一的：start-all.sh

这里由于没有设置免密码。启动的时候要输入4次密码。。哦！对了，在启动的过程中会提示是否继续。记得按yes哦！！！

 

输入jps查看进程：

如果出现入下信息则表示启动成功！！

进行查看

Web Console访问：hdfs: 端口: 50070

yarn: 端口：8088