在大数据开发的任务当中,Java无疑是起到关键性作用的,大数据领域内的主流计算框架,有不少都是基于Java来实现的,比如说我们熟悉的Hadoop,就是Java实现的,这更是巩固了Java在大数据当中的地位。今天的大数据学习分享,我们来聊聊Hadoop开源架构实现。
Hadoop作为第一代大数据框架,在业内应用非常广泛,是大数据的代名词,也是分布式计算架构的鼻祖。
Hadoop采用Java语言开发,具有良好的跨平台性,并且可部署在廉价的计算机集群中,几乎所有主流厂商都围绕Hadoop进行开发和提供服务,如谷歌、百度、思科、华为、阿里巴巴、微软都支持Hadoop。
在硬盘存储层面,Hadoop的数据处理工作借助HDFS,将架构下每一台计算机中的硬盘资源汇聚起来,无论是存储计算还是调用,都可以视为一块硬盘使用,就像计算机中的C盘、D盘。
在资源管理层面,Hadoop使用集群管理和调度软件YARN,相当于计算机的Windows操作系统,进行资源的调度管理。
在计算处理层面,Hadoop利用MapReduce计算框架进行计算编程,将复杂的、运行在大规模集群上的并行计算过程高度抽象成两个函数——Map和Reduce。
经过多年的发展,Hadoop生态系统不断完善和成熟,除了核心的HDFS、YARN和MapReduce之外,还包括ZooKeeper、HBase、Hive、Pig、Mathout、Flume、Sqoop、Ambari等功能组件。
作为一种对大量数据进行分布式处理的软件框架,Hadoop具有以下几方面特点:
高可靠性。采用冗余数据存储方式,即使某副本发生故障,其他的仍能正常提供服务。
高效性。采用分布式存储和分布式处理两大核心技术,能高效处理PB级数据。
成本低。采用廉价计算机集群,成本低,普通用户很容易搭建。
可扩展性。可高效稳定运行在廉价的计算机集群上,扩展到数以千计的计算机节点上。
支持多种编程语言。虽然是Java开发的,但也可使用其他语言编写,比如C和C++。
关于大数据开发学习,Hadoop开源架构实现,以上就为大家做了一个简单的介绍了。Hadoop在大数据领域,始终占据着重要地位,学习大数据,必学Hadoop。