Hadoop

Hadoop入门

一、概念

1.介绍

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。充分利用集群的威力进行高速运算和存储。
Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。

2.作用

Hadoop 的作用非常简单，就是在多计算机集群环境中营造一个统一而稳定的存储和计算环境，并能为其他分布式应用服务提供平台支持。

也就是说， Hadoop 在某种程度上将多台计算机组织成了一台计算机（做同一件事），那么 HDFS 就相当于这台计算机的硬盘，而 MapReduce 就是这台计算机的 CPU 控制器。

二、运行环境

学习它的使用时难免会遇到在多台计算机上配置 Hadoop 的情况。使用 Docker 为底层环境来描述 Hadoop 的使用。

1.docker部署

进入Docker命令行之后，拉取一个Linux镜像作为 Hadoop 运行的环境，使用CentOS镜像。
docker pull centos:8
通过docker images命令可以查看到当前本地的镜像：
创建一个容器：
docker run -d centos:8 /usr/sbin/init
通过docker ps可以查看运行中的容器：
我们可以令容器打印出 Hello World:
docker exec DOCKERNAME ehco "Hello World"
Docker 已经安装并部署成功。

2.创建容器