HDFS是进行储存的,YARN是进行调度的
1、切换到hadoop下面的etc(配置文件都在etc下面)
用ll查看,我们会发现将要配置的文件
2、接下来将对这四个文件进行配置
① 配置core-site.xml
vi core-site.xml
将configuration标签中的内容删掉换成如下内容:
<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop100:9820</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.data.dir</name>
<value>/opt/module/hadoop-3.1.3/data/</value>
</property>
</configuration>
退出
②配置hdfs-site.xml
vi hdfs-site.xml
将configuration标签中的内容删掉换成如下内容:
<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
③配置mapred-site.xml
vi mapred-site.xml
将configuration标签中的内容删掉换成如下内容:
<configuration>
<!-- 指定MR运行在YARN上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
④配置yarn-site.xml
vi yarn-site.xml
将configuration标签中的内容删掉换成如下内容:
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop100</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>
3、启动
①格式化namenode(第一次启动时格式化,以后就不要总格式化),命令:
hdfs namenode –format
②启动namenode,命令:
hdfs --daemon start namenode
③启动datanode,命令:
hdfs--daemon start datanode
④启动resourcemanager,命令:
yarn --daemon start resourcemanager
⑤启动nodemanager,命令:
yarn --daemon start nodemanager
4、查看是否启动成功,命令
jps
如果有哪一个进程没有出现,就是环境配置错误,改正就可以了
5、杀掉进程,命令
kill 进程号