Hadoop基础知识

1.大数据技术架构

2.大数据特点：海量性(volume)、多样行(variety)、高速性(velocity)、价值性(value)。

3.大数据的计算模式：批处理计算(mapreduce)、查询分析计算(hive)、流计算(spark、storm) 、图计算。

主要分两大类：离线计算（如mapreduce）、实时计算（如 spark、storm）。

 

4.Hadoop框架

hadoop是一个高可靠、可伸缩的分布式计算框架。用于大数据存储 （HDFS）、计算（MapReduce）、分析的分布式存储系统及分布式计算框架。hadoop框架提供了大数据的海量存储及分布式计算服务。

hadoop主要模块

1）common：封装了大量API,为hadoop框架提供操作基础。

2）HDSF：hadoop的分布式文件系统。存储海量数据。

3）MapReduce：分布式计算模型。用于大数据的离线分析。

4）yarn：分布式计算平台。可运行mapreduce、hive、spark、storm等计算框架。

 

5.HDFS分布式文件系统：属于主从（Master/Slave）关系的结构模型。分布式存储海量TB级以上数据&#x