flume
左边的天堂
这个作者很懒,什么都没留下…
展开
-
使用java service wrapper把windows flume做成服务
把windows flume做成服务网上介绍的方法好多种:1、commons daemon procrun,这个是apache的一个项目,tomcat就是使用这个做成服务的,缺点:配置麻烦,对bat脚本不熟悉的话,配置起来很难2、JavaService,这个对单个jar文件做成服务很简单,但是针对flume却不行3、java service wrapper,配置简单,缺点:不免费这里介绍java service wrapper的使用原创 2015-06-05 16:30:19 · 1633 阅读 · 1 评论 -
flume采集的一些特性
以flume1.5.2为例,flume采集的基本功能有如下几点:Source类型说明Avro Source支持Avro协议(实际上是Avro RPC),内置支持Thrift Source支持Thrift协议,内置支持Exec Source基于Unix的command在标准输出上生产数据原创 2015-08-17 15:58:57 · 783 阅读 · 0 评论 -
flume之avro实践
flume之avro实践原创 2015-11-23 16:35:16 · 1506 阅读 · 0 评论 -
Flume架构与源码分析-核心组件分析-2
Flume架构与源码分析-核心组件分析转载 2016-03-16 14:55:26 · 479 阅读 · 0 评论 -
Flume架构与源码分析-整体架构
Flume是cloudera公司开源的一款分布式、可靠地进行大量日志数据采集、聚合和并转移到存储中;通过事务机制提供了可靠的消息传输支持,自带负载均衡机制来支撑水平扩展;并且提供了一些默认组件供直接使用。Flume目前常见的应用场景:日志--->Flume--->实时计算(如Kafka+Storm) 、日志--->Flume--->离线计算(如HDFS、HBase)、日志--->Flume--->ElasticSearch。转载 2016-03-16 15:00:32 · 535 阅读 · 0 评论 -
Flume架构与源码分析-核心组件分析-1
首先所有核心组件都会实现org.apache.flume.lifecycle.LifecycleAware接口: Java代码 public interface LifecycleAware { public void start(); public void转载 2016-03-16 14:39:40 · 935 阅读 · 0 评论 -
使用JSch远程部署flume采集点
远程部署文件可以大大的减少运维人员的工作量,使用SFTP也是很安全,而且操作简单。原创 2015-06-08 14:18:42 · 1760 阅读 · 2 评论 -
Flume相关技术汇总
这些知识基本来源网络,我自己收集了一下做个汇总。1、简介Flume支持在日志系统中定制各类数据发送方,用于收集数据。Flume最早是Cloudera提供的日志收集系统,目前是Apache下的一个孵化项目。当前Flume有两个版本Flume 0.9X版本的统称Flume-og,Flume1.X版本的统称Flume-ng。Flume提供对数据进行简单处理,并写到各种数据接受方(可定原创 2015-04-22 11:02:13 · 2757 阅读 · 0 评论