HDFS是进行储存的,YARN是进行调度的
1、切换到hadoop下面的etc(配置文件都在etc下面)
cd /opt/module/hadoop-3.1.3/etc/hadoop/
用ll查看,我们会发现将要配置的文件
2、接下来将对这四个文件进行配置
①配置core-site.xml
vi core-site.xml
将configuration标签中的内容删掉换成如下内容:
<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop100:9820</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.data.dir</name>
<value>/opt/module/hadoop-3.1.3/data/</value>
</property>
</configuration>
退出
②配置hdfs-site.xml
vi hdfs-site.xml
将configuration标签中的内容删掉换成如下内容:
<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
③配置mapred-site.xml
vi mapred-site.xml
将configuration标签中的内容删掉换成如下内容:
<configuration>
<!-- 指定MR运行在YARN上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
④配置yarn-site.xml
vi yarn-site.xml
将configuration标签中的内容删掉换成如下内容:
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop100</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>
3、启动
①格式化namenode(第一次启动时格式化,以后就不要总格式化),命令:
hdfs namenode –format
②启动namenode,命令:
hdfs --daemon start namenode
③启动datanode,命令:
hdfs--daemon start datanode
④启动resourcemanager,命令:
yarn --daemon start resourcemanager
⑤启动nodemanager,命令:
yarn --daemon start nodemanager
4、查看是否启动成功,命令
jps
会出现四个进程,之所以有三个是因为后期的配置,这个大家可以不用在意,正常的话会有四个进程,如果有哪一个进程没有出现,则环境配置错误,改正即可
5、杀掉进程,命令
kill 进程号