2015年04月_chiweitree

12月 11月 10月 08月 07月 06月 05月 04月 03月 02月 01月

原创【Flume】flume ng中HDFS sink设置按天滚动，0点滚动文件，修改源码实现

HDFS sink里有个属性hdfs.rollInterval=86400，这个属性你设置了24小时滚动一次，它的确就到了24小时才滚动，但是我们的需求往往是到了0点就滚动文件了，因为离线的job因为都会放在夜里执行。如果flume是早上9点启动的，那么要到明天早上9点，hdfs的文件才会关闭，难道job要等到9点后才执行，这显然不合适，所以通过修改源码使其能够在0点滚动文件。首先

2015-04-29 13:35:35 5869 17

原创【Redis】jedis客户端实现redis消息的发布订阅（实时消息中间件）

发布package com.chiwei.redis;import java.io.BufferedReader;import java.io.InputStreamReader;import org.slf4j.Logger;import org.slf4j.LoggerFactory;import redis.clients.jedis.Jedis;public cla

2015-04-17 10:35:58 5169

原创【Redis】redis集群与非集群环境下的jedis客户端通用开发

非集群环境下package com.chiwei.redis;import java.util.ArrayList;import java.util.List;import org.junit.Test;import redis.clients.jedis.Jedis;import redis.clients.jedis.JedisPool;import redis.cl

2015-04-16 13:04:26 11369 2

原创【Flume】flume文件监控的source组件开发，增量传输文件内容，支持断点续传功能

基于flume-ng中原有exec的source类型，通过tail依赖于操作系统去监听文件内容变化，其次，不支持断点续传的功能，特此，自行开发了一个组件，大家可以看看，一起探讨：https://github.com/cwtree/flume-filemonitor-source望各位不吝指教！

2015-04-09 15:02:04 6761 9

原创【Redis】redis的安装、配置运行及Jedis客户端的开发使用

定义：Redis is an open source, BSD licensed, advanced key-value cache and store. It is often referred to as a data structure server since keys can contain strings, hashes, lists, sets,sorted se

2015-04-01 15:40:12 1682

原创【Storm】storm安装、配置、使用以及Storm单词计数程序的实例分析

前言：阅读笔记storm和hadoop集群很像，hadoop运行mr，storm运行topologies。mr和topologies最关键的不同点是：mr运行最终会结束，而topologies永远运行直到你kill。storm集群有两种节点：master和worker。master运行一个后台进程Nimbus，和hadoop的jobtracker相似。N

2015-04-01 11:20:21 1778