- 博客(13)
- 收藏
- 关注
原创 Zookeeper之基于Observer部署架构
Observers:在不伤害写性能的情况下扩展Zookeeper尽管通过Client直接连接到Zookeeper集群的性能已经非常好了,但是这种架构如果要承受超大规模的Client,就必须增加Zookeeper集群的Server数量,随着Server的增加,Zookeeper集群的写性能必定下降,我们知道Zookeeper的Znode变更是要过半数投票通过,随着机器的增加,由于网络消耗等原因必...
2015-12-20 18:37:51 12122 10
原创 Hive数据导入导出的几种方式
一,Hive数据导入的几种方式首先列出讲述下面几种导入方式的数据和hive表。Hive表:创建testA: CREATE TABLE testA ( id INT, name string, area string) PARTITIONED BY (create_time string) ROW FORMAT DELIMITED FIELDS TERMINATED B...
2015-12-25 17:23:38 11720
原创 Hive如何添加第三方JAR
以加入elsaticsearch-hadoop-2.1.2.jar为例,讲述在Hive中加入第三方jar的几种方式。1,在hive shell中加入[hadoop@hadoopcluster78 bin]$ ./hiveLogging initialized using configuration in file:/home/hadoop/apache/hive-0.13.1/con...
2015-12-23 16:24:23 30845 4
原创 通过Java代码获取Zookeeper服务器状态
有的时候,我们想知道Zookeeper集群中哪些服务器属于Leader,哪些属于Follower,哪些属于Observer。通过命令,可以很容易的获取到Zookeeper服务器的状态: [hadoop@hadoopcluster84 bin]$ ./zkServer.sh statusJMX enabled by defaultUsing config: /home/hadoop...
2015-12-22 10:57:59 6040 1
原创 Hadoop2.4.1分布式安装(详细)
安装环境:10.0.1.65 hadoop2namenode110.0.1.66 hadoop2namenode210.0.1.67 hadoop2resourcemanager10.0.1.68 hadoop2datanode110.0.1.69 hadoop2datanode210.0.1.70 hadoop2datanode310.0.1.71 hadoop2datanod...
2015-12-21 15:39:09 1760
原创 Ivy安装及编译hadoop2x-eclipse-plugin
之前项目一直采用Maven构建(Maven构建真正的J2EE项目)。最近在github下载一些源码来编译,发现很多项目都开始支持apache Ivy。至此以hadoop2x-eclipse-plugin为例,写篇文章记录一下。Apache Ivy 是一个优秀的管理(记录、跟踪、解析和报告)项目依赖的工具,可与Apache Ant紧密集成。本篇以2.4.0版本为基础。Apache Ivy安装...
2015-12-15 10:39:09 2369
原创 Flume之Log4JAppender接收Log4j日志
简介Log4JAppender和LoadBalancingLog4jAppender可以将应用服务器的日志通过AvroSource实时的把日志传输到日志服务器,然后在传输到监控系统或者是HDFS中存储,FLume的Log4JAppender和LoadBalancingLog4jAppender必须使用Log4j的异步加载器,否则日志服务器down机,将会导致应用服务器异常,影响线上环境的使用。...
2015-12-07 21:37:35 6455 4
原创 Zookeeper选主流程和同步流程
Zookeeper的核心是原子广播(Zab:Zookeeper Atomic Broadcast),该机制保证各个Server之间的同步。Zab协议有两种模式,分别是恢复模式和广播模式。恢复模式:当Leader挂掉或者启动Server时,Zab就进入了恢复模式,当领导者被选举出来,且大多数Server的完成了和leader的状态同步以后,恢复模式就结束了。广播模式:状态同步保证了Leade...
2015-12-04 16:01:37 5098
原创 Zookeeper源码解析之Server启动
本篇讲述Zookeeper Server启动过程。Zookeeper的源码可以在Github中下载,地址是:https://github.com/apache/zookeeper/。不过是用ivy构建,所以有兴趣的话,可以安装ivy来构建Zookeeper。Zookeeper的启动类:org.apache.zookeeper.server.quorum.QuorumPeerMain通过Ma...
2015-12-03 11:09:41 3006
原创 Zookeeper超级用户
Zookeeper管理员会因为某些客户端对某些节点设置了权限,而导致在紧急的情况下无法修改这些节点感到困扰。在这种情况下,管理员可以通过Zookeeper超级用户模式访问这些节点,一旦设置了超级权限访问节点,后续的操作就不需要check ACL了。使用超级用户模式,可以通过Zookeeper的zookeeper.DigestAuthenticationProvider.superDigest参...
2015-12-02 10:30:45 8238
原创 zookeeper数据模型
Zookeeper的数据模型类似于Unix标准文件系统,只是文件目录里面没有文件。而是统称为Znode。Znode可以存放数据,以二进制的形式(默认不超过1MB)。这样就构成了类似文件系统的层次化命名空间。其实就是树形结构。下图是Zookeeper节点的数据模型:Znode从持久化的角度来说,可以分类两类:持久化节点(PERSISTENT Node):创建新增删除等操作会更新到事务...
2015-12-01 21:28:05 2027
原创 Zookeeper ACL权限控制
Zookeeper使用ACL来控制访问Znode,ACL的实现和UNIX的实现非常相似:它采用权限位来控制那些操作被允许,那些操作被禁止。但是和标准的UNIX权限不同的是,Znode没有限制用户(user,即文件的所有者),组(group)和其他(world)。Zookeepr是没有所有者的概念的。每个ZNode的ACL是独立的,且子节点不会继承父节点的ACL。例如:Znode /app对于i...
2015-12-01 11:54:44 6160
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人