一伪分布模式
特点:在单机上,模拟一个分布式的环境,具备Hadoop的所有功能
HDFS:NameNode + DataNode + SecondaryNameNode
Yarn:ResourceManager + NodeManager
(*)hadoop-env.sh JAVA_HOME /root/training/jdk1.8.0_144
1:进入Hadoop目录下
cd ~/training/hadoop-2.7.3/etc/hadoop
进入之后如下只有有个
二:需要配置的文件目录如下:
首先进行配置 (*)hdfs-site.xml
dfs.replication
1
(1)将如上代码放入到 hdfs-site.xml中的
进行命令 进入到hdfs-site.xml文件中 vi hdfs-site.xml
并将上面的配置信息放入中,保存并退出。如下:
(2)进行配置 (*)core-site.xml
fs.defaultFS
hadoop.tmp.dir
/root/training/hadoop-2.7.3/tmp
首先创建一个tmp目录在 /root/training/hadoop-2.7.3 下。
(因为 HDFS数据块和元信息保存在操作系统的目录位置。。-默认是Linux的tmp目录,一定要修改。默认的tmp目录特点是一开机这里面的所有文件都会被删除了的)
返回到cd ../etc/hadoop/。进行命令 vi core-site.xml。然后将以上的配置信息加入到配置文件中的中,保存并退出
如下:
(3)进行配置(*)mapred-site.xml(默认没有这个文件)
而默认是mapred-site.xml.template。
mapreduce.framework.name
yarn
*********************************************************************8
这里我们将这个文件改为mapred-site.xml
命令: mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
将以上配置信息写入该配置文件中。保存并退出
(4)进行配置(*)yarn-site.xml
yarn.resourcemanager.hostname
bigdata111
yarn.nodemanager.aux-services
mapreduce_shuffle
进入该配置文件。
vi yarn-site.xml
并将如上的配置信息放入到里面。保存并退出
(5)将如上配置信息配置完成后并没结束。还要 对HDFS的NameNode进行格式化 -----> 目录:/root/training/hadoop-2.7.3/tmp
举例:软盘,需要格式化
命令:hdfs namenode -format
日志:Storage directory /root/training/hadoop-2.7.3/tmp/dfs/name has been successfully formatted. 如果出现该日志则表明格式化成功
三:欧克,以上伪分布就已经完全部署上了。看看我们的成果吧!!
首先来启动一下。直接启动所有 start-all.sh
(*)启动:
HDFS:start-dfs.sh
Yarn: start-yarn.sh
统一的:start-all.sh
这里由于没有设置免密码。启动的时候要输入4次密码。。哦!对了,在启动的过程中会提示是否继续。记得按yes哦!!!
输入jps查看进程:
如果出现入下信息则表示启动成功!!
进行查看
Web Console访问:hdfs: 端口: 50070
yarn: 端口:8088