Hadoop伪分布式初始化

首先将环境配置好：修改主机名、网络名、ip地址、host文件，安装jdk、Hadoop、添加环境变量、修改Hadoop核心配置文件（core-site.xml、hdfs-site.xml、env文件中的JAVA_HOME），添加对本机ssh免秘钥，关闭防火墙

格式化分布式文件系统

bin/hdfs namenode -format

成功显示：

此时在/var/sxt/hadoop/local/dfs/name/current下就会出现4个文件：

fsimage_0000000000000000000      
seen_txid
fsimage_0000000000000000000.md5  
VERSION

VERSION的内容为:

[root@node01 current]# cat VERSION 
#Mon May 06 20:12:03 CST 2019
namespaceID=295789513
clusterID=CID-617989a5-ccc2-4656-9a6d-6f65fbd5661b
cTime=0
storageType=NAME_NODE
blockpoolID=BP-1252597270-192.168.112.11-1557144722988
layoutVersion=-60

---

使用脚本启动角色

start-dfs.sh
#或者执行hadoop-daemon.sh start namenode
#和hadoop-daemon.sh start datanode

显示：

#这一步哪里出错，去哪个机器查看相应的.log文件。
[root@node01 current]# start-dfs.sh 
Starting namenodes on [node01]
node01: starting namenode, logging to /opt/sxt/hadoop-2.6.5/logs/hadoop-rmenode-node01.out
node01: starting datanode, logging to /opt/sxt/hadoop-2.6.5/logs/hadoop-rtanode-node01.out
Starting secondary namenodes [node01]
node01: starting secondarynamenode, logging to /opt/sxt/hadoop-2.6.5/logsp-root-secondarynamenode-node01.out

进去50070管理接口

http://node01:50070
若进不去请关闭防火墙

---

操作dfs文件系统

注意：只要在core-site.xml中配置了如下内容：

<property>
<name>fs.defaultFS</name>
    <value>hdfs://hadoop101:9000</value>
</property>

那么hdfs dfs里的路径全部全部被当做hdfs文件系统的路径。

格式：hdfs dfs 【linux命令】

如：
创建文件夹： hdfs dfs -mkdir -p /usr/zgx/input
长传文件： hdfs dfs -put 【源文件】【dfs系统文件路径】

---

启动YARN并运行MapReduce程序

配置

首先配置yarn-env.sh，将JAVA_HOME路径配好、
然后配置yarn-site.xml：

<!-- Reducer获取数据的方式 -->
<property>
 	<name>yarn.nodemanager.aux-services</name>
 	<value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>hadoop101</value>
</property>

配置：mapred-env.sh，配置一下JAVA_HOME
然后配置： (对mapred-site.xml.template重新命名为) mapred-site.xml
[atguigu@hadoop101 hadoop]$ mv mapred-site.xml.template mapred-site.xml
[atguigu@hadoop101 hadoop]$ vi mapred-site.xml

<!-- 指定MR运行在YARN上 -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>

启动集群

（a）启动前必须保证NameNode和DataNode已经启动
（b）启动ResourceManager
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager
（c）启动NodeManager
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

集群操作

（a）YARN的浏览器页面查看，如图2-35所示
http://hadoop101:8088/cluster

查看MapReduce运行状态的接口：8088

如http://node31:8088