第4章 配置Hadoop系统
Hadoop系统的运行方式有三种:独立模式、伪分布式模式、分布式模式。独立模式下只有一个节点,并且所有组件(NameNode、SecondaryNameNode、DataNode等)运行于一个进程内;伪分布模式下也只有一个节点,但不同的组件运行于不同的进程中;分布模式下有多个节点,不同的组件运行于不同的节点中。前两种模式一般用于MapReduce编程时的测试环境,后一种模式是产品运行时的真正形态。
4.1 Docker简介
“容器”其实就是一台虚拟机,所以容器技术就是创建和管理虚拟机的技术。当前最流行的容器技术软件就是Docker。
当前的Docker版本依然只有在Linux下才能利用cgroup、namespace等系统和内核组件创建轻量级虚拟机,
为什么人们喜欢用容器化技术呢?因为容器内的系统与宿主机无关,容器内配置好的软件环境不会随宿主机变化,
如果我们在一台虚拟机中配置好这一切,换计算机或操作系统后,只需要执行一条命令就可以将整个环境重新运行起来,这是多么美好的事情!幸运的是,借助Docker即可完成这个工作。
用Docker创建虚拟机很简单,只需两步:一是获取操作系统镜像,二是基于镜像创建并启动虚拟机。