Hadoop 大数据平台架构与实践

初识Hadoop

Hadoop是一个开源的分布式存储+分布式计算平台。

Hadoop核心组成部分：

• HDFS：分布式文件系统，存储海量的数据。
• MapReduce：并行处理框架，实现任务分解和调度。

Hadoop可以用来做什么？
搭建大型数据仓库，PB级数据的存储、处理、分析、统计等业务。

Hadoop优势：高扩展、低成本（不依赖高端硬件，只需要PC机就可以实现）、成熟的生态圈（开源、有很多衍生的小工具）

工具：
HIVE写SQL，降低人们使用Hadoop的门槛。
HBASE 放弃事物特性，提供数据随机读写。
zookeeper监控Hadoop每个节点的状态。

安装Hadoop

有三种方式：单机环境、伪分布环境、集群环境

Step 1：准备Linux环境
租用云主机，在阿里云或UnitedStack等定制。
Step 2：安装JDK
Step 3：配置Hadoop