Hadoop新手知识普及

Hadoop因其在大数据处理领域具有广泛的实用性以及良好的易用性，自2007年推出后，很快在工业界得到普及应用，同时得到了学术界的广泛关注和研究。在短短的几年中，Hadoop很快成为到目前为止最为成功、最广泛接受使用的大数据处理主流技术和系统平台，并且成为一种大数据处理事实上的工业标准，那么，关于大数据Hadoop相关的知识你都了解吗？下面我们一起来看下吧。
   1、Hadoop生态概况
  Hadoop是一个由Apache基金会所开发的分布式系统集成架构，用户可以在不了解分布式底层细节情况下，开发分布式程序，充分利用集群的威力来进行高速运算与存储，具有可靠、高效、可伸缩的特点.
   2、HDFS
  源自谷歌的GFS论文，发表于2013年10月，HDFS是GFS的克隆版，HDFS是Hadoop体系中数据存储管理的基础，它是一个高度容错的系统，能检测和应对硬件故障。HDFS简化了文件一致性模型，通过流式数据访问，提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序，它提供了一次写入多次读取的机制，数据以块的形式，同时分布在集群不同物理机器。
   3、Mapreduce
  源自于谷歌的MapReduce论文，用以进行大数据量的计算，它屏蔽了分布式计算框架细节，将计算抽象成map和reduce两部分。
   4、HBASE(分布式列存数据库)
  源自谷歌的Bigtable论文，是一个建立在HDFS之上，面向列的针对结构化的数据可伸缩，高可靠，高性能分布式和面向列的动态模式数据库。
   5、zookeeper
  解决分布式环境下数据管理问题，统一命名，状态同步，集群管理，配置同步等。
   6、HIVE
  由Facebook开源，定义了一种类似sql查询语言，将SQL转化为mapreduce任务在Hadoop上面执行。
   7、flume
  日志收集工具
   8、yarn分布式资源管理器
  是下一代mapreduce，主要解决原始的Hadoop扩展性较差，不支持多种计算框架而提出的。
   9、spark
  spark提供了一个更快更通用的数据处理平台，和Hadoop相比，spark可以让你的程序在内存中运行。
   10、kafka
  分布式消息队列，主要用于处理活跃的流式数据。