Hadoop基础组件思维导图

这篇文档主要是以前我学习Hadoop期间做的思维导图自动生成的Markdown，因为当时还在初学阶段，内容都比较基础，具体思维导图在最下面

Hadoop

Linux

环境部署

• VMware安装 CentOS安装

• 网络环境配置

  • BOOTPROTO、ONBOOT、IPADDR、NETWMASK、GATEWAY、DNS
  • 测试：ping外网、ping主机、主机ping虚拟机

常用命令

• 三个最常用

  • cd，pwd，ls

• 文件/文件夹操作

  • 文件处理命令

    • mkdir，touch，rm，mv，cp，ln

  • 文件查看命令

    • cat，head，tail，less，more，vim/vi，echo

  • 文件查找命令

    • find，which，whereis，grep(搭配管道使用)

  • 文件解压/打包命令

    • gzip(-d/gunzip)，bzip2，zip，lz，tar(zxvf)

  • 其他命令

    • help，info，man date，du，df，ps，netstat，free

vi/vim(重点)

• 一般模式

  • a，A，i，I，o，O，x，nx，dd，ndd，dG，D，yy/Y，nyy/nY，p，P，gg，G，nG，r，R，u，ctrl+r

• 底行命令模式

  • :set nu，:set nonu，:n，:/string，:?string，:%s/lod/new/g，
    :n1,n2s/lod/new/g，:wq，:w>>a.txt，shift+zz

• 插入模式

  • esc

用户与权限管理(重点)

• 用户

  • 创建 useradd，删除userdel，修改usermod，密码修改 passwd

• 用户组

  • 创建 groupadd，删除groupdel，修改groupmod，gpasswd -a/-d 附加组或从组中删除， groups

• 权限管理

  • chmod，chown，chgrp

软件管理

• 二进制安装(tar)，rpm(ivh/u/e/qa)安装，yum在线安装，源码安装

scp

• scp file 远程用户名@远程服务器IP:目录

免密登录(重点)

• ssh-keygen -t rsa --> ssh-copy-id 主机名
• 实现流程原理(7步)

定时任务(* * * * *)，时间同步ntpdate

shell脚本(重点)

HDFS

hdfs概念

• 4v特征(重点)
• 三篇论文

hdfs安装

• 单节点

  • 本地模式

  • 伪分布式模式

    • 是分布式的一种特殊情况，相关守护进程运行在一个节点上，程序之间都是独立的(各自独占一个JVM)

• 多节点