2015年12月_qianshanding0708

原创 Zookeeper之基于Observer部署架构

Observers：在不伤害写性能的情况下扩展Zookeeper尽管通过Client直接连接到Zookeeper集群的性能已经非常好了，但是这种架构如果要承受超大规模的Client，就必须增加Zookeeper集群的Server数量，随着Server的增加，Zookeeper集群的写性能必定下降，我们知道Zookeeper的Znode变更是要过半数投票通过，随着机器的增加，由于网络消耗等原因必...

2015-12-20 18:37:51 12122 10

原创 Hive数据导入导出的几种方式

一，Hive数据导入的几种方式首先列出讲述下面几种导入方式的数据和hive表。Hive表：创建testA： CREATE TABLE testA ( id INT, name string, area string) PARTITIONED BY (create_time string) ROW FORMAT DELIMITED FIELDS TERMINATED B...

2015-12-25 17:23:38 11720

原创 Hive表导入Elasticsearch

Hive表导入Elasticsearch

2015-12-24 21:05:09 9266 1

原创 Hive如何添加第三方JAR

以加入elsaticsearch-hadoop-2.1.2.jar为例，讲述在Hive中加入第三方jar的几种方式。1，在hive shell中加入[hadoop@hadoopcluster78 bin]$ ./hiveLogging initialized using configuration in file:/home/hadoop/apache/hive-0.13.1/con...

2015-12-23 16:24:23 30840 4

原创通过Java代码获取Zookeeper服务器状态

有的时候，我们想知道Zookeeper集群中哪些服务器属于Leader，哪些属于Follower，哪些属于Observer。通过命令，可以很容易的获取到Zookeeper服务器的状态： [hadoop@hadoopcluster84 bin]$ ./zkServer.sh statusJMX enabled by defaultUsing config: /home/hadoop...

2015-12-22 10:57:59 6040 1

原创 Hadoop2.4.1分布式安装（详细）

安装环境：10.0.1.65 hadoop2namenode110.0.1.66 hadoop2namenode210.0.1.67 hadoop2resourcemanager10.0.1.68 hadoop2datanode110.0.1.69 hadoop2datanode210.0.1.70 hadoop2datanode310.0.1.71 hadoop2datanod...

2015-12-21 15:39:09 1760

原创 Ivy安装及编译hadoop2x-eclipse-plugin

之前项目一直采用Maven构建（Maven构建真正的J2EE项目）。最近在github下载一些源码来编译，发现很多项目都开始支持apache Ivy。至此以hadoop2x-eclipse-plugin为例，写篇文章记录一下。Apache Ivy 是一个优秀的管理（记录、跟踪、解析和报告）项目依赖的工具，可与Apache Ant紧密集成。本篇以2.4.0版本为基础。Apache Ivy安装...

2015-12-15 10:39:09 2368

原创 Flume之Log4JAppender接收Log4j日志

简介Log4JAppender和LoadBalancingLog4jAppender可以将应用服务器的日志通过AvroSource实时的把日志传输到日志服务器，然后在传输到监控系统或者是HDFS中存储，FLume的Log4JAppender和LoadBalancingLog4jAppender必须使用Log4j的异步加载器，否则日志服务器down机，将会导致应用服务器异常，影响线上环境的使用。...

2015-12-07 21:37:35 6455 4

原创 Zookeeper选主流程和同步流程

Zookeeper的核心是原子广播（Zab：Zookeeper Atomic Broadcast），该机制保证各个Server之间的同步。Zab协议有两种模式，分别是恢复模式和广播模式。恢复模式：当Leader挂掉或者启动Server时，Zab就进入了恢复模式，当领导者被选举出来，且大多数Server的完成了和leader的状态同步以后，恢复模式就结束了。广播模式：状态同步保证了Leade...

2015-12-04 16:01:37 5098

原创 Zookeeper源码解析之Server启动

本篇讲述Zookeeper Server启动过程。Zookeeper的源码可以在Github中下载，地址是：https://github.com/apache/zookeeper/。不过是用ivy构建，所以有兴趣的话，可以安装ivy来构建Zookeeper。Zookeeper的启动类：org.apache.zookeeper.server.quorum.QuorumPeerMain通过Ma...

2015-12-03 11:09:41 3006

原创 Zookeeper超级用户

Zookeeper管理员会因为某些客户端对某些节点设置了权限，而导致在紧急的情况下无法修改这些节点感到困扰。在这种情况下，管理员可以通过Zookeeper超级用户模式访问这些节点，一旦设置了超级权限访问节点，后续的操作就不需要check ACL了。使用超级用户模式，可以通过Zookeeper的zookeeper.DigestAuthenticationProvider.superDigest参...

2015-12-02 10:30:45 8237

原创 zookeeper数据模型

Zookeeper的数据模型类似于Unix标准文件系统，只是文件目录里面没有文件。而是统称为Znode。Znode可以存放数据，以二进制的形式(默认不超过1MB)。这样就构成了类似文件系统的层次化命名空间。其实就是树形结构。下图是Zookeeper节点的数据模型：Znode从持久化的角度来说，可以分类两类：持久化节点（PERSISTENT Node）：创建新增删除等操作会更新到事务...

2015-12-01 21:28:05 2027

原创 Zookeeper ACL权限控制

Zookeeper使用ACL来控制访问Znode，ACL的实现和UNIX的实现非常相似：它采用权限位来控制那些操作被允许，那些操作被禁止。但是和标准的UNIX权限不同的是，Znode没有限制用户（user，即文件的所有者），组（group）和其他（world）。Zookeepr是没有所有者的概念的。每个ZNode的ACL是独立的，且子节点不会继承父节点的ACL。例如：Znode /app对于i...

2015-12-01 11:54:44 6160

qianshanding0708的博客