配置集群
-
配置:
etc/hadoop/hadoop-env.sh
。修改 JAVA_HOME 路径export JAVA_HOME=/opt/module/jdk1.8.0_144
-
配置:
etc/hadoop/core-site.xml
<!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <!-- 指定Hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-2.7.2/data/tmp</value> </property>
-
配置:
etc/hadoop/hdfs-site.xml
<!-- 指定HDFS副本的数量 --> <property> <name>dfs.replication</name> <value>1</value> </property>
启动集群
- 格式化 NameNode(第一次启动时格式化,以后就不要总格式化)
[root@hadoop02 hadoop-2.7.2]# bin/hdfs namenode -format
- 启动 NameNode
[root@hadoop02 hadoop-2.7.2]# sbin/hadoop-daemon.sh start namenode
- 启动 DataNode
[root@hadoop02 hadoop-2.7.2]# sbin/hadoop-daemon.sh start datanode
查看集群
-
查看是否启动成功
[root@hadoop02 hadoop-2.7.2]# jps 12080 DataNode 11976 NameNode 12152 Jps
注意:jps 是 JDK 中的命令,不是 Linux 命令。不安装 JDK 不能使用 jps
-
Web 端查看 HDFS 文件系统
http://hadoop02:50070/dfshealth.html#tab-overview
注意:记得开放服务器相关端口
-
查看产生的 Log 日志。查看 Log 日志是排除的重要手段
[root@hadoop02 hadoop-2.7.2]# ll logs/ total 92 -rw-r--r-- 1 root root 23736 Jun 8 23:04 hadoop-root-datanode-hadoop02.log -rw-r--r-- 1 root root 715 Jun 8 23:04 hadoop-root-datanode-hadoop02.out -rw-r--r-- 1 root root 56186 Jun 8 23:04 hadoop-root-namenode-hadoop02.log -rw-r--r-- 1 root root 715 Jun 8 23:01 hadoop-root-namenode-hadoop02.out -rw-r--r-- 1 root root 715 Jun 8 22:58 hadoop-root-namenode-hadoop02.out.1 -rw-r--r-- 1 root root 0 Jun 8 22:58 SecurityAuth-root.audit
操作集群
-
在 HDFS 文件系统上创建一个 input 文件夹
[root@hadoop02 hadoop-2.7.2]# bin/hdfs dfs -mkdir -p /user/yain/input
-
将测试文件内容上传到文件系统上。wcinput/wc.input是一个文本文件,里面随便放一些单词即可,用来测试 WordCount 程序
[root@hadoop02 hadoop-2.7.2]# bin/hdfs dfs -put wcinput/wc.input /user/yain/input
-
查看上传的文件是否正确
[root@hadoop02 hadoop-2.7.2]# bin/hdfs dfs -ls /user/yain/input Found 1 items -rw-r--r-- 1 root supergroup 79 2020-06-08 23:31 /user/yain/input/wc.input [root@hadoop02 hadoop-2.7.2]# bin/hdfs dfs -cat /user/yain/input/wc.input
注意:也可以在 Web 端看到刚刚上传的文件
-
运行 MapReduce 程序
[root@hadoop02 hadoop-2.7.2]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/yain/input /user/yain/output
-
查看输出结果
[root@hadoop02 hadoop-2.7.2]# bin/hdfs dfs -cat /user/yain/output/p*
-
将测试文件下载到本地
[root@hadoop02 hadoop-2.7.2]# bin/hdfs dfs -get /user/yain/output/part-r-00000 ./wcoutput/
-
删除输出结果
[root@hadoop02 hadoop-2.7.2]# bin/hdfs dfs -rm -r /user/yain/output
注意事项
- 为什么不能一直格式化 NameNode,格式化 NameNode 要注意什么?
格式化 NameNode,会产生新的集群 id,导致 NameNode 和DataNode 的集群 id 不一致,集群找不到已往数据。所以,格式 NameNode 时,首先 jps 查看进程是否已经关闭,然后一定要先删除 data 数据和 log 日志,然后再格式化 NameNode。[root@hadoop02 hadoop-2.7.2]# cat data/tmp/dfs/name/current/VERSION clusterID=CID-525d4809-c836-48f3-bf25-8fa1583d2393 [root@hadoop02 hadoop-2.7.2]# cat data/tmp/dfs/data/current/VERSION clusterID=CID-525d4809-c836-48f3-bf25-8fa1583d2393
如果您觉得这篇文章对您有帮助,欢迎为我的 github项目 点一个⭐