hadoop入门五步走

第一步 安装hadoop集群

• 1、安装jdk，当前为jdk8，jdk9、10、11由于会移除一些类，导致hadoop集群安装失败 安装细节不在赘述
• 2、hadoop的安装细节
• 注意的地方：Namenode和ResourceManger如果不是同一台机器，不能在NameNode上启动 yarn，应该在ResouceManager所在的机器上启动yarn。 第二步 理解相关概念以及hadoop的模型

• 第三步 操作操作 *1、 直接在服务端操作使用hadoop命令做一些操作

  给出一个文件上传到hdfs和下载到本地的example

  # 1st  在本地新建一个文件
  [root@node21 admin]# cat wc.txt 
  a,1 b,1 b,5
  a,3 c,3 d,15 e,11
  a,2 d,2
  # 2st 在hadoop上创建一个目录，用于存放该文件
  [root@node21 admin] hadoop fs -mkdir -p  /user/input
  可以看到hadoop的fs命令下，有很多和linux命令相似的地方,无聊可以help看哈
  root@node21 admin]# hadoop fs --help
  --help: Unknown command
  Usage: hadoop fs [generic options]
      [-appendToFile <localsrc> ... <dst>]
      [-cat [-ignoreCrc] <src> ...]
      [-checksum <src> ...]
      [-chgrp [-R] GROUP PATH...]
      [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
      [-chown [-R] [OWNER][:[GROUP]] PATH...]
      [-copyFromLocal [-f] [-p] [-l] [-d] [-t <thread count>] <localsrc> ... <dst>]
      [-copyToLocal [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
      [-count [-q] [-h] [-v] [-t [<storage type>]] [-u] [-x] [-e] <path> ...]
      [-cp [-f] [-p | -p[topax]] [-d] <src> ... <dst>]
      [-createSnapshot <snapshotDir> [<snapshotName>]]
  .................省略一堆堆
  # 3st 上传到该目录
  [root@node21 admin]hadoop fs -put ~/wc.txt  /user/input
  # 4st 查看是否已经存在该文件
  [root@node21 admin]# hadoop fs -ls /user/input
  -rw-r--r--   2 admin supergroup         38 2019-03-30 08:41 /user/input/wc.txt
  #5st  ok接下来下载到本地并查看
  [root@node21 admin]# hadoop fs -get /user/input/wc.txt /home/
  admin/  hadoop/ xzg/    
  [root@node21 admin]# hadoop fs -get /user/input/wc.txt /home/
  [root@node21 admin]# ls /home/
  wc.txt  
  ### 就酱。 

• 2、运行一个hadoop的简单事例，了解map-reduce机制 先给出命令，运行该命令是注意要使用hadoop用