HDFS是进行存储的,YARN是进行调度的
1.切换到hadoop目录下
设置hadoop -env.sh文件
cd /opt/module/hadoop-3.1.3/etc/hadoop
vi hadoop-env.sh
在命令模式下输入/JAVA_HOME后回车,进行查找位置
将JAVA_HOME后的路径修改
export JAVA_HOME=/opt/module/jdk1.8.0_212
#注意将export 前的#删除掉,不然在后面运行时报错
2.设置core-site.xml文件
cd /opt/module/hadoop-3.1.3/etc/hadoop
vi core-site.xml
hadoop100是自己的主机名
3.设置hdfs-site.xml文件
cd /opt/module/hadoop-3.1.3/etc/hadoop
vi hdfs-site.xml
将configuration标签中的内容删掉换成如下内容
<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4.配置mapred-site.xml文件
vi mapred-site.xml
将configuration标签中的内容删掉换成如下内容:
<configuration>
<!-- 指定MR运行在YARN上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
5.配置yarn-site.xml
vi yarn-site.xml
将configuration标签中的内容删掉换成如下内容:
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop100</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>
二、启动集群
1.格式化namenode
hdfs namenode -format
2.启动namenode、datanode
hdfs --daemon start namenode
hdfs --daemon start datanode
3.启动resourcemanager
yarn --daemon start resourcemanager
4.启动nodemanager
yarn --daemon start nodemanager
jps查看进程