Hadoop基础学习（一）——大数据简介

一、大数据特点

• Volume（大量）
• Velocity（高速）
• Variety（多样）
• Value（低价值密度）
• Veracity（真实性）

二、Hadoop生态圈

1、狭义的Hadoop:核心项目Common、HDFS、MapReduce。
2、广义的Hadoop:狭义的Hadoop+其他项目(zookeeper、 hbase、 hive等)

• hadoop common
  为Hadoop其他项目提供一些常用工具，如系统配置工具Configuration、远程过程调用RPC序列化机制、Hadoop抽 象文件系统FileSystem等。
• hadoop hdfs
  分布式文件系统，运行于大型商用机集群，是Hadoop体系中海量数据存储管理的基础.
• hadoop mapreduce
  分布式数据处理模型和执行环境，是Hadoop体系中海量数据处理的基础。
• hbase
  一个分布式的面向列的数据库，构建在HDFS之上，适用于Hadoop应用需要实时读/写随机访问非常大型数据集。
• zookeeper
  一个分布式的服务框架，解决了分布式计算中的一致性问题，可用于解决分布式应用中遇到的数据管理问题，如统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等，常作为其他Hadoop相关项目的主要组件。
• spark
  Spark是一种基于内存的分布式并行计算框架，不同于MapReduce的是-- Job中间输 出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
• flink
  Flink是一个基于内存的分布式并行处理框架，类似于Spark, 但在部分设计思想有较大出入。对Flink而言，其所要处理的主要场景就是流数据，批数据只是流数据的一个极限特例而已。
• kafka
  Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。实现了主题、分区及其队列模式以及生产者、消费者架构模式。
• oozie
  Oozie是一个可扩展的工作体系、工作流调度器，集成于Hadoop的堆栈，用于协调多个MapReduce作业的执行。它能够管理一个 复杂的系统，基于外部事件来执行，外部事件包括数据的定时和数据的出现。
• mahout
  一个机器学习和数据挖掘的库，提供用于聚类、回归测试和统计建模常见算法的MapReduce实现。