- 博客(6)
- 资源 (9)
- 收藏
- 关注
原创 【Flume】flume ng中HDFS sink设置按天滚动,0点滚动文件,修改源码实现
HDFS sink里有个属性hdfs.rollInterval=86400,这个属性你设置了24小时滚动一次,它的确就到了24小时才滚动,但是我们的需求往往是到了0点就滚动文件了,因为离线的job因为都会放在夜里执行。如果flume是早上9点启动的,那么要到明天早上9点,hdfs的文件才会关闭,难道job要等到9点后才执行,这显然不合适,所以通过修改源码使其能够在0点滚动文件。首先
2015-04-29 13:35:35 5883 17
原创 【Redis】jedis客户端实现redis消息的发布订阅(实时消息中间件)
发布package com.chiwei.redis;import java.io.BufferedReader;import java.io.InputStreamReader;import org.slf4j.Logger;import org.slf4j.LoggerFactory;import redis.clients.jedis.Jedis;public cla
2015-04-17 10:35:58 5182
原创 【Redis】redis集群与非集群环境下的jedis客户端通用开发
非集群环境下package com.chiwei.redis;import java.util.ArrayList;import java.util.List;import org.junit.Test;import redis.clients.jedis.Jedis;import redis.clients.jedis.JedisPool;import redis.cl
2015-04-16 13:04:26 11378 2
原创 【Flume】flume文件监控的source组件开发,增量传输文件内容,支持断点续传功能
基于flume-ng中原有exec的source类型,通过tail依赖于操作系统去监听文件内容变化,其次,不支持断点续传的功能,特此,自行开发了一个组件,大家可以看看,一起探讨:https://github.com/cwtree/flume-filemonitor-source望各位不吝指教!
2015-04-09 15:02:04 6771 9
原创 【Redis】redis的安装、配置运行及Jedis客户端的开发使用
定义:Redis is an open source, BSD licensed, advanced key-value cache and store. It is often referred to as a data structure server since keys can contain strings, hashes, lists, sets,sorted se
2015-04-01 15:40:12 1687
原创 【Storm】storm安装、配置、使用以及Storm单词计数程序的实例分析
前言:阅读笔记storm和hadoop集群很像,hadoop运行mr,storm运行topologies。mr和topologies最关键的不同点是:mr运行最终会结束,而topologies永远运行直到你kill。storm集群有两种节点:master和worker。master运行一个后台进程Nimbus,和hadoop的jobtracker相似。N
2015-04-01 11:20:21 1789
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人