- 博客(7)
- 资源 (16)
- 收藏
- 关注
原创 HDFS集群繁忙时删除大量的文件导致NameNode服务不可用原理解析
一、HDFS 核心组件简介:HDFS 主要核心组件:NameNode + DataNodeHDFS 采用 Master/Slave架构,一个HDFS集群由两个NameNode 和 一定数目的DataNodes组成,其中NameNode一个为Active,另一个作为Standby。NameNode几个核心:FSNameSystem(名字空间)、blockManager(块管理器)、Lease
2017-09-23 16:39:55 8730
转载 zk应用实例
ZooKeeper 典型的应用场景Zookeeper 从设计模式角度来看,是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper 就将负责通知已经在 Zookeeper 上注册的那些观察者做出相应的反应,从而实现集群中类似 Master/Slave 管理模式,关于 Zookeeper 的详细架构等
2017-09-21 19:19:26 6644
转载 zookeeper开源客户端curator
zookeeper的原生api相对来说比较繁琐,比如:对节点添加监听事件,当监听触发后,我们需要再次手动添加监听,否则监听只生效一次;再比如,断线重连也需要我们手动代码来判断处理等等。对于curator的介绍,从网上百度了一段:Curator是Netflix开源的一套zookeeper客户端框架,用它来操作zookeeper更加方便,按Curator官方所比喻的,guava to JAVA,c
2017-09-21 17:49:16 6359
转载 zookeeper实现主从选举
窃以为,对于zookeeper这种东西,仅仅知道怎么安装是远远不够的(废话么这不是,,,),至少要对其几个典型的应用场景进行了解,才能比较全面的知道zk究竟能干啥,怎么玩儿,以后的日子里才能知道这货如何能为我所用。于是,有了如下的学习:我们知道zookeeper可以用于搭建高可用服务框架,主要先看以下几个应用场景:1、 master的选举基本思路和编码实现2、 数据的发布和订阅
2017-09-21 17:47:19 18031 5
转载 Apache Ignite——新一代数据库缓存系统
将数据存储在缓存中能够显著地提高应用的速度,因为缓存能够降低数据在应用和数据库中的传输频率。Apache Ignite允许用户将常用的热数据储存在内存中,它支持分片和复制两种方式,让开发者可以均匀地将数据分布式到整个集群的主机上。同时,Ignite还支撑任何底层存储平台,不管是RDBMS、NoSQL,又或是HDFS。在集群配置好之后,数据集增加只需在Ignite集群中增加节点而
2017-09-15 15:33:26 7484 1
转载 并发队列ConcurrentLinkedQueue和阻塞队列LinkedBlockingQueue用法
在Java多线程应用中,队列的使用率很高,多数生产消费模型的首选数据结构就是队列(先进先出)。Java提供的线程安全的Queue可以分为阻塞队列和非阻塞队列,其中阻塞队列的典型例子是BlockingQueue,非阻塞队列的典型例子是ConcurrentLinkedQueue,在实际应用中要根据实际需要选用阻塞队列或者非阻塞队列。注:什么叫线程安全?这个首先要明确。线程安全就是说多线程访问同
2017-09-15 15:31:41 5971
转载 数据仓库之etl
ETL,Extraction-Transformation-Loading的缩写,中文名称为数据抽取、转换和加载。大多数据仓库的数据架构可以概括为:数据源-->ODS(操作型数据存储)-->DW-->DM(data mart)ETL贯穿其各个环节。一、数据抽取: 可以理解为是把源数据的数据抽取到ODS或者DW中。
2017-09-04 16:46:13 6601 1
SonarLint-3.5-for-intellj-idea-亲测好使.zip
2019-08-09
C#语言c/结构酒店管理系统_幽灵工作室提供
2013-05-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人