1.配置集群环境
①:修改第一个配置
在/opt/module/hadoop-3.1.3/etc/hadoop目录下设置hadoop-env.sh文件
命令:vi hadoop-env.sh
命令模式下输入/搜索JAVA_HOME修改为
export JAVA_HOME=/opt/module/jdk1.8.0_212
②:修改第二个配置 core-site.xml
在/opt/module/hadoop-3.1.3/etc/hadoop目录下设置core-site.xml文件
命令:vi core-site.xml
③:修改第三个配置 hdfs-site.xml
在/opt/module/hadoop-3.1.3/etc/hadoop目录下
设置hdfs-site.xml文件
命令:vi hdfs-site.xml
vi core-site.xml
指定HDFS中namenode的地址。将命令放到configuration标签中
<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop100:9820</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-3.1.3/data/tmp</value>
</property>
</configuration>
2:格式化namenode 命令:Hdfs namenode -format
启动namenode 命令:hdfs --daemon start
jps 查看进程
3:启动datanode
命令:hdfs --daemon start datanode(pwd 查看当前所在位置)
4、配置yarn-site.xml
命令:vi yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop100</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>
5、配置mapred-site.xml
命令:[root@hadoop100 hadoop]# vi mapred-site.xml
<configuration>
<!-- 指定MR运行在YARN上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
6、启动resourcemanager
命令: yarn --daemon start resourcemanager
jps 查看启动
7、启动nodemanager
命令: yarn --daemon start nodemanager
jps 查看启动
8、Jsp查看java进程 命令:jsp
9、在HDFS中创建文件夹/opt/input
命令:hdfs dfs -mkdir -p /opt/input
10、将文件上传到HDFS
命令:hdfs dfs –put 要上传的文件名 上传的地址
案例: hdfs dfs -put wcinput/wc.input /opt/input/
11、查看hdfs的文件目录
命令:Hdfs dfs –ls 文件路径 注意,这里面的根目录不是linux的根目
案例:hdfs dfs -ls /opt/input/
12、查看hdfs中文件内容
命令:hdfs dfs –cat 文件名
案例:hdfs dfs -cat /opt/input/wc.input
13、执行文件
命令:hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount 执行的文件位置 输出的文件位置
案例:hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /opt/input /opt/output
14、查看执行后的结果
命令:hdfs dfs -cat 输出文件路径/*
案例:hdfs dfs -cat /opt/output/*
15、停止进程 hdfs –daemon stop namenode