![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据学习
文章平均质量分 93
xiaoxu_xiaoyou
这个作者很懒,什么都没留下…
展开
-
RabbitMq在java中的实际应用
rabbitmq的几种工作模式 simple简单模式 消息生产者(p)将消息放入队列中 消息的消费者(c)监听 消息队列,如果队列中有消息,就消费掉,消息被拿走后,自动从队中删除,可能会造成消息丢失 work工作模式(资源竞争) 消息生产者将消息放入队列,消费者可以有多个,消费者1,消费者2,同时监听同一个队列,需要确保一条消息只能被一个消费者消费 publish/subscribe...原创 2020-03-14 11:37:02 · 594 阅读 · 0 评论 -
Hadoop历史版本架构分析
hadoop三大核心 hdsf集群(分布式文件系统) yarn集群(数据计算资源调度) mapreduce(分布式计算) 1、1.x版本模型 文件系统核心模块(主从架构) NameNode 集群中的主节点,存储元数据(文件位置、文件大小、文件权限),也管理集群当中的各种数据,相当于文件系统的大脑,在1.x版本中NameNode服务宕机整个服务则瘫痪 SecondaryNameNo...原创 2019-08-25 23:00:32 · 181 阅读 · 0 评论 -
Zookeeper入门基础知识
Zookeeper 1、Zookeeper概述 Zookeeper是一个开源的分布式协调服务框架,主要用来解决分布式集群中应用系统中的一致性问题和数据管理问题 2、Zookeeper的特点 Zookeeper本质上是一个分布式文件系统,适合存放小文件,也可以理解为一个数据库,简言之其核心是一个精简的文件系统 高可用性 松耦合的交互方式 富表现性(分布式队列、选举机制等) 3、Zookeeper......原创 2019-08-22 17:02:08 · 273 阅读 · 0 评论 -
Hadoop核心——HDFS
1、HDFS简介 在现代的企业环境中,单机容量往往无法存储大量数据,需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统 。 HDFS(Hadoop Distributed File System)是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存储文...原创 2019-08-28 16:08:45 · 328 阅读 · 0 评论 -
HDFS高可用+联邦机制
1、HDFS高可用 1.2、组件分析 JournalNode 共享式存储系统 特点:自身高可用、强一致性 在Hadoop-2.x使用Quorum Journal Manager(QJM)来实现操作日志的共享,QJM是一个比Zookeeper更轻量级的分布式存储系统,所使用的一致性约束条件远远不如paxos,raft等高可用的一致性算法。 Zookeeper 辅助namenode实现...原创 2019-08-28 16:41:47 · 413 阅读 · 0 评论