zookeeper/flume/sqoop/datax等组件
文章平均质量分 88
主要包含zookeeper,flume,sqoop/datax,presto,codeview等各种大数据小组件的原理介绍,应用分享。
涤生大数据
在职阿里,美团,京东,字节大数据技术专家,擅长大数据开发,集群架构/运维,爱好python数据分析/爬虫,欢迎一起交流
展开
-
Zookeeper系列1::zookeeper的作用与原理详解
.1为什么要有zookeeper学习框架:1.是什么? 2.干什么用的? 3.重要框架的源码? 先说一个概念:分布式协调技术----那么什么是分布式协调技术?那么我来告诉大家,其实分布式协调技术主要用来解决分布式环境当中多个进程之间的同原创 2017-07-23 17:38:58 · 3124 阅读 · 0 评论 -
Zookeeper系列2:如何在集群上安装zookeeper与参数详解
一:zookeeper安装介绍1.因为是zookeeper也是用java实现的,所有要依赖jdk才能运行。所以单独安装时(如果集群上尚未安装jdk的话),要先安装JDK。需要JDK-linux版本2.需要对应的zookeeper-linux版本安装包二:单机安装zookeeper流程 一:准备工作 1.安装jdk (具体流程参考hdfs章节),配置环原创 2017-07-23 17:47:01 · 4783 阅读 · 0 评论 -
ZooKeeper分布式锁与代码实现
1.zk的核心机制之一:分布式锁 分布式锁能够在一组进程之间提供互斥机制,使得在任何时候只有一个进程可以持有锁。分布式锁可以用于在大型分布式系统中实现领导者选举,在任何时间点,持有锁的那个进程就是系统的领导者。注意:不要将zookeeper自己的领导者选举和使用ZooKeeper基本操作实现的一般领导者选举服务混为一谈。事实上,zookeepr自己的领导者选举机制是不对外公开的。原创 2017-12-12 16:41:19 · 11049 阅读 · 0 评论