- 博客(16)
- 收藏
- 关注
原创 Zookeeper你应该了解基础知识
简介Apache ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,由Client和Server构成,Server提供了一致性复制和存储服务,Client包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。ZooKeeper的设计非常易于编程,ZooKeeper维护着一个hierarchal(层次)的名字空间,它采用树形的数据结构,类似于标准文件...
2015-11-26 15:36:44 5022 2
原创 Flume之ChannelSelector源码分析
Flume中channel选择器(selector.type配置)必须实现ChannelSelector接口,实现了该接口的类主要作用是告诉Source中接收到的Event应该发送到哪些Channel,在Flume中主要由两个实现方式:1,复用,实现类:MultiplexingChannelSelector2,复制,实现类:ReplicatingChannelSelector如下:...
2015-11-09 21:20:34 3934
原创 Flume几种监控方式
Flume主要由以下几种监控方式:JMX监控JMX高爆可以在flume-env.sh文件修改JAVA_OPTS环境变量,如下:export JAVA_OPTS=”-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=5445 -Dcom.sun.management.jmxremote.authentic...
2015-11-04 17:57:13 9672
原创 Zookeeper Watch机制
Znode发生变化(Znode本身的增加,删除,修改,以及子Znode的变化)可以通过Watch机制通知到客户端。那么要实现Watch,就必须实现org.apache.zookeeper.Watcher接口,并且将实现类的对象传入到可以Watch的方法中。Zookeeper中所有读操作(getData(),getChildren(),exists())都可以设置Watch选项。Watch事件具有o...
2015-11-30 14:41:59 10570
原创 Zookeeper集群安装及命令
安装Zookeeper安装环境:10.0.1.8210.0.1.8310.0.1.84 第一步:下载Zookeeper下载地址:http://www.apache.org/dyn/closer.cgi/zookeeper/,目前的稳定版本是3.4.6第二步:解压Zookeepertar zxvf zookeeper-3.4.6.tar.gz第三步:配置con...
2015-11-27 15:25:44 1831
原创 Zookeeper配置文件(全)
ZooKeeper Server启动时,默认读取$ZOOKEEPER_HOME/conf/zoo.cfg文件,zoo.cfg文件配置了Zookeeper所有的运行参数。最低配置 参数名 默认 描述 clientPort 服务的监听端口 dataDir ...
2015-11-27 11:16:06 14968
原创 字符串反转及性能测试
方法一:创建一个临时字符串temp, 通过charAt方法倒序获取字符串的字符。 String temp = "";String str = "我是中国人";int length = str.length();for (int j = length - 1; j >= 0; j--) { temp += str.charAt(j);}System.out.print...
2015-11-25 21:31:12 1740
原创 Flume - FileChannel源码详解
FileChannel在Flume是一个非常重要的Channel,FileChannel可以很好的保证数据的完整性和一致性,提供了类似mysql binlog的机制,保证机器down机,JVM异常退出时数据不丢失,在采集数据量很大的情况下,建议FileChannel设置的目录和程序日志文件保存的目录设成不同的磁盘,以便提高效率。FileChannel的简易类结构: Fi...
2015-11-21 16:04:27 6429
原创 Flume - MemoryChannel源码解析
MemoryChannel的简易类结构: 内部类MemoryTransaction的简易类结构:一,configure(Context context) 1,capacity:MemroyChannel的容量,默认是100。 2,transCapacity:每个事务最大的容量,也就是每个事务能够获取的最大Event数量。默认也是100。 3,byt...
2015-11-21 15:55:15 3713
原创 Flume + HDFS Sink采集数据及如何添加第三方JAR
Flume默认情况下是没有引入HDFS,Kafka,Elasticsearch,Hbase等sink的相关jar包,如果使用,需要自行添加相关jar包。下面我以使用HDFS Sink为例,在Flume中加入第三方JAR包。Flume支持一种特殊的目录结构:plugins.d,它有特殊的格式,可以很方面的管理第三方JAR。当然我们可以直接把第三方JAR丢掉$FLUME_HOME/lib目录,...
2015-11-19 14:36:52 5687
原创 Flume之ChannelProcessor源码分析
接着上篇:Flume之ChannelSelector源码分析ChannelSelector主要是根据Event选择将其发送到哪些Channel。ChannelProcessor是通过ChannelSelector获取到Channels后,如何发送Event到Channel。 ChannelProcessor提供了将Source接收到的Events放入到Channels的一些方法,如果写入C...
2015-11-10 11:58:28 2946
原创 Exec Source使用及源码分析
Exec source介绍Exec source在启动时运行Unix命令,并且期望它会不断的在标准输出中产生数据。 (stderr会被丢弃,除非logStdErr设置成true).如果进程因为某些原因退出,Exce Source也将退出并且不会再产生数据。粗粒标注的必须配置:属性名 默认 描述 channels – type –...
2015-11-09 14:34:03 5306
原创 Google Guava 类库简介
Guava 是Google的基于JDK类库集合的扩展项目,目前Guava的最高版本是guava-18.0.jar,基于JDK1.7。Guava是一个高质量的API可以使你的Java代码更加优雅,更加简洁。Guava应用很广泛,目前很多开源的框架都使用了Google Guava类库,我也是在看一些开源框架的源码才了解到Guava的,看到开源框架使用了Guava的什么类,就去了解一下。源码包:...
2015-11-07 17:54:16 2489
原创 SpoolDirectorySource使用及源码分析
Spooling Directory Source简介Spooling Directory Source可以获取硬盘上“spooling”目录的数据,这个Source将监视指定目录是否有新文件,如果有新文件的话,就解析这个新文件。事件的解析逻辑是可插拔的。在文件的内容所有的都读取到Channel之后,Spooling Directory Source会重名或者是删除该文件以表示文件已经读取完成...
2015-11-07 16:58:06 6594
原创 Flume HDFS Sink使用及源码分析
HDFS Sink介绍Flume导入数据HDFS,目前只支持创建序列化(sequence)文件和文本(text)文件。还支持这两个文件的压缩。文件可以根据运行的时间,数据的大小和时间的数量来进行周期性的滚动(关闭当前文件产生新的文件)。也可以根据数据属性分区,例如根据时间戳或机器分区。HDFS目录路径可以包含格式化的转义字符,生成目录路径可以通过格式化转移字符(escape sequences...
2015-11-06 14:09:36 5530
原创 JMX 和 管理系统简介(一)
JMX 是管理系统和资源之间的一个接口,它定义了管理系统和资源之间交互的标准。javax.management.MBeanServer实现了 Agent 的功能,以标准的方式给出了管理系统访问 JMX 框架的接口。而从类库的层次上看,JMX 包括了核心类库 java.lang.management和 javax.management包。java.lang.management包提供了基本的 VM ...
2015-11-03 18:04:01 2909
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人