![](https://img-blog.csdnimg.cn/20210728210053539.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
文章平均质量分 87
Hadoop生态学习
Oak-Komorebi
你心中尚存的不满,就是你眼前的第一行诗。
展开
-
Hadoop概述
1Hadoop的简要介绍Hadoop是Apache基⾦会旗下⼀个开源的分布式存储和分析计算平台,使⽤java语言开发,具有很好的跨平台性,可以运⾏在商⽤(廉价)硬件上,⽤户⽆需了解分布式底层细节,就可以开发分布式程序,充分使⽤集群的⾼速计算和存储。Apache lucene是⼀个应⽤⼴泛的⽂本搜索系统库。该项⽬的创始⼈道格·卡丁在2002 年带领团队开发该项⽬中的⼦项⽬Apache Nutch,想要从头打造⼀个⽹络搜索引擎系 统,在开发的过程中,发现了两个问题,⼀个是硬件的⾼额资⾦投⼊,另⼀个是.原创 2021-07-31 15:58:44 · 202 阅读 · 0 评论 -
HADOOP生态圈知识概述
一. hadoop生态概况Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、高效、可伸缩的特点。Hadoop的核心是HDFS、YARN和Mapreduce。随着处理任务不同,各种组件相继出现,丰富Hadoop生态圈,目前生态圈结构大致如图所示:随着处理任务不同,各种组件相继出现,丰富Hadoop生态圈,目前生态圈结构大致如图所示:根据服务对象和层次分为:数据..转载 2021-07-17 16:49:39 · 3425 阅读 · 1 评论 -
Hadoop的安装部署
1 本地模式搭建1.1 本地模式介绍- 特点:本地模式,即运⾏在单台机器上,没有分布式思想,使用的是本地⽂件系统。- ⽤途:本地模式主要⽤于对MapReduce程序的逻辑进⾏调试,确保程序的正确。由于在本地模式下测试和调试MapReduce程序较为方便,因此,这种模式适宜用在开发阶段。1.2 平台软件说明平台&软件 说明 操作系统 Windows7 或 Windows 10 或 Mac OS 虚拟软件 VMWare 或 Parallels .原创 2021-07-31 20:38:52 · 476 阅读 · 0 评论 -
Yarn资源管理器
1 YARN简介为克服Hadoop 1.0中HDFS和MapReduce存在的各种问题⽽提出的,针对Hadoop 1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜,提出了全新的资源管理框架 YARN.Apache YARN(Yet another Resource Negotiator的缩写)是Hadoop集群的资源管理系统,负责为计算程序提供服务器计算资源,相当于⼀个分布式的操作系统平 台,⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。yarn被引⼊Hadoop原创 2021-07-10 21:04:43 · 710 阅读 · 2 评论 -
Zookeeper
一、Zookeeper概述1.1. Zookeeper是什么1. zookeeper是⼀个为分布式应⽤程序提供的⼀个分布式开源协调服务框架。是 Google的Chubby的⼀个开源实现,是Hadoop和Hbase的重要组件。主要⽤于解决分布 式集群中应⽤系统的⼀致性问题。 2. 提供了基于类似Unix系统的⽬录节点树⽅式的数据存储。 3. 可⽤于维护和监控存储的数据的状态的变化,通过监控这些数据状态的变化,从⽽达 到基于数据的集群管理 4. 提供了⼀组原语(机器指令),提供原创 2021-07-10 20:27:57 · 335 阅读 · 0 评论 -
源码安装azkaban时报错
记录一下源码安装azkaban时遇到的错误。1.下载源码包官网地址为:https://github.com/azkaban/azkaban/archive/3.57.0.tar.gz2.将源码包上传服务器并解压源码包[root@qianfeng01 home]# tar -zxvf /home/azkaban-3.57.0.tar.gz -C /home/3、执行编译编译参考官网地址:https://azkaban.readthedocs.io/en/latest/getSt..原创 2021-07-27 21:26:50 · 324 阅读 · 0 评论