![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据分布式知识复习
onesalatree
你很懒,还没有添加简介。
展开
-
纯粹的资源管理调度框架YARN整体剖析(课本知识复习)
YARN1. MapReduce1.0框架的设计缺陷2. YARN的设计思路3. YARN体系结构3.1 结构组件总览3.2 三大组件的功能3.2.1 组件功能详解1. ResourceManager功能2. ApplicationMaster功能3. NodeManager功能3.3 集群部署3.4 YARN的工作流程1. MapReduce1.0框架的设计缺陷MapReduce1.0采用 Master/Slave(一主多从) 框架设计,包括一个JobTracker和多个TaskTracker,前者负原创 2020-06-19 15:31:37 · 618 阅读 · 0 评论 -
Hadoop的优化与发展+HDFS(2.0)新特性
Hadoop的优化与发展1. Hadoop(1.0)的局限与不足2. 针对其1.0版本的不足改进和提升2.1 Hadoop框架自身的改进和提升2.2 Hadoop生态系统的完善3. HDFS2.03.1 HDFS HA3.2 HDFS 联邦1. Hadoop(1.0)的局限与不足抽象层次低。需要手工编写代码来完成,有时只是为了实现一个简单的功能,也要手工编写大量的代码。表达能力有限。Hadoop把复杂的分布式编程高度抽象到两个函数Map和Reduce上,在降低使用难度的同时,但也带来了表达能有限的问原创 2020-06-18 14:57:34 · 1591 阅读 · 0 评论 -
kafka原理解析(适合跟我一样从来为了解过的小白进行了解)
官网:http://kafka.apache.orgkafka原理解析1. 定义(简单了解kafka)2. 于Flume进行比较3. kafka架构4. 消息存储和生产消费模型5. kafka的消息构成1. 定义(简单了解kafka)最初是由Linkedin公司开发是个分布式,分区的,多副本的,多订阅者,基于Zookeeper协调的分布式日志系统,常用于web/nginx日志,访问日志,消息服务等等发布和订阅;存储;处理实时的流式数据流的记录是一个可持久化分布式的消息队列2. 于Flume原创 2020-06-17 16:39:29 · 395 阅读 · 0 评论 -
带你了解你想知道的分布式数据库—HBase
HBase1. HBase简介2. 与传统数据库的比较3. HBase的相关概念4. 数据坐标5. 列式数据库的DSM模型6. HBase的实现原理6.1三级目录1. HBase简介首先来说HBase是针对谷歌三宝之一的BigTable的开源实现,是一个高可靠、高性能、面向列、可伸缩的分布式数据库,主要用来存储非结构化和半结构化数据。其目标是处理非常庞大的表,通过水平的扩展方式,利用廉价的计算机集群来处理数据。其利用Hadoop中的MapReduce来处理海量的数据;利用Zookeeper作为协同服务原创 2020-06-12 20:08:36 · 415 阅读 · 0 评论 -
大数据计算框架——MapReduce(内含详细的shuffle过程)
MapReduce1. MapReduce模型简介2. Map 和 Reduce 函数2.1 Map函数2.2 Reduce函数2.3 两个函数的关系图3. MapReduce工作流程3.1 工作流程概述(注意两点)3.2 工作流程图片说明4. MapReduce执行的各个阶段4.1 共6个阶段二级目录二级目录1. MapReduce模型简介MapReduce同样是谷歌公司的MapReduce的开源实现,其要比谷歌的MapReduce的使用门槛低很多。MapReduce将复杂的、运行于大规模集群上的并行原创 2020-06-01 10:36:20 · 2160 阅读 · 0 评论 -
分布式文件系统HDFS整体剖析
我要开始为大四找工作做准备啦,开始复习关于大数据的知识。HDFS原理剖析1. 简说分布式文件系统2. 计算机集群结构3. 分布式文件系统的结构3.1 主节点(NameNode)3.2 从节点(DataNode)1. 简说分布式文件系统1. 简说分布式文件系统1. 简说分布式文件系统1. 简说分布式文件系统1. 简说分布式文件系统二级目录1. 简说分布式文件系统大数据时代必须要解决的就是海量数据的高效存储问题,谷歌就针对这个问题开发出了GFS分布式文件系统,近乎完美地解决了这个问题,而HDFS分布式文件原创 2020-06-12 20:07:38 · 538 阅读 · 0 评论