第一步 安装hadoop集群
- 1、安装jdk,当前为jdk8,jdk9、10、11由于会移除一些类,导致hadoop集群安装失败 安装细节不在赘述
- 2、hadoop的安装细节
- 注意的地方:Namenode和ResourceManger如果不是同一台机器,不能在NameNode上启动 yarn,应该在ResouceManager所在的机器上启动yarn。 第二步 理解相关概念以及hadoop的模型
-
第三步 操作操作 *1、 直接在服务端操作使用hadoop命令做一些操作
给出一个文件上传到hdfs和下载到本地的example
# 1st 在本地新建一个文件 [root@node21 admin]# cat wc.txt a,1 b,1 b,5 a,3 c,3 d,15 e,11 a,2 d,2 # 2st 在hadoop上创建一个目录,用于存放该文件 [root@node21 admin] hadoop fs -mkdir -p /user/input 可以看到hadoop的fs命令下,有很多和linux命令相似的地方,无聊可以help看哈 root@node21 admin]# hadoop fs --help --help: Unknown command Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...] [-chown [-R] [OWNER][:[GROUP]] PATH...] [-copyFromLocal [-f] [-p] [-l] [-d] [-t <thread count>] <localsrc> ... <dst>] [-copyToLocal [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>] [-count [-q] [-h] [-v] [-t [<storage type>]] [-u] [-x] [-e] <path> ...] [-cp [-f] [-p | -p[topax]] [-d] <src> ... <dst>] [-createSnapshot <snapshotDir> [<snapshotName>]] .................省略一堆堆 # 3st 上传到该目录 [root@node21 admin]hadoop fs -put ~/wc.txt /user/input # 4st 查看是否已经存在该文件 [root@node21 admin]# hadoop fs -ls /user/input -rw-r--r-- 2 admin supergroup 38 2019-03-30 08:41 /user/input/wc.txt #5st ok接下来下载到本地并查看 [root@node21 admin]# hadoop fs -get /user/input/wc.txt /home/ admin/ hadoop/ xzg/ [root@node21 admin]# hadoop fs -get /user/input/wc.txt /home/ [root@node21 admin]# ls /home/ wc.txt ### 就酱。
- 2、运行一个hadoop的简单事例,了解map-reduce机制 先给出命令,运行该命令是注意