一、Hadoop概述
(1)简介
Hadoop是Apache软件基金会旗下的一个开源分布式计算平台,为用户提供系统底层细节透明的分布式基础框架。被公认为行业大数据标准开发软件,在分布式环境下提供了海量数据的处理能力。
(2)Hadoop的核心
Hadoop分布式文件系统(HDFS)和MapReduce。
(3)Hadoop的特性
- 高可靠性:采用冗余数据存储方式,一个副本发生故障其他副本也可正常对外提供服务。
- 高效性:高效地处理PB级数据。
- 高可扩展性
- 高容错性:采用冗余数据存储方式,能够自动将失败的任务进行重新分配。
- 成本低
- 运行在Linux操作系统上
- 支持多种编程语言
(4)Hadoop的版本
2.Hadoop生态系统
- HDFS:分布式文件系统
- HBase:是一个提供高可靠性、高性能、可伸缩、实时读写、分布式的列式数据库。
- MapReduce:是一种编程模型,用于大规模数据集的并行运算。
- Hive:是一种基于Hadoop到的数据仓库工具,用于对Hadoop文件中的数据集进行数据整理、特殊查询和分析存储。查询语言——HiveQL。
- Pig:一种数据流语言和运行环境,适用于使用Hadoop和MapReduce平台来查询大型半结构化数据集。
- ZooKeeper:是高效和可靠的协同工作系统,提供分布式锁,用于构建分布式应用,减轻分布式应用程序所承担的协调任务。
3.Hadoop的安装
- 创建Hadoop用户
- 更新apt和安装Vim编译器
- 安装SSH和配置SSH无密码登录
- 安装Java环境
- 安装单机Hadoop
- Hadoop伪分布式安装