![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
文章平均质量分 79
lskyne
这个作者很懒,什么都没留下…
展开
-
agent配置
agent2.sources=s1agent2.channels=c1agent2.sinks=k1agent2.sources.s1.type = spooldiragent2.sources.s1.spoolDir =/var/log/hutxlogagent2.sources.s1.fileHeader =trueagent2.sources.s1.fileHeade原创 2014-07-16 15:31:50 · 13220 阅读 · 0 评论 -
让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2
转自:http://www.aboutyun.com/thread-7949-1-1.html问题导读:1.什么是flume?2.如何安装flume?3.flume的配置文件与其它软件有什么不同?一、认识flume1.flume是什么?这里简单介绍一下,它是Cloudera的一个产品2.flume是干什么的?收集日志的3.flume如何搜转载 2014-07-07 19:41:27 · 25694 阅读 · 5 评论 -
Kafka与FlumeNG整合
转自:http://blog.csdn.net/luyee2010/article/details/183203511,作为Producer的Flume端配置,其中是以netcat为source数据源,sink是kafka[html] view plaincopyhadoop@stormspark:~/bigdata/apache转载 2014-07-08 10:18:14 · 15260 阅读 · 0 评论 -
Spark Streaming:大规模流式数据处理
转自:http://www.csdn.net/article/2014-01-27/2818282-Spark-Streaming-big-data转载 2014-07-08 10:44:49 · 22318 阅读 · 0 评论 -
flume插件开发
转自:首先第一步你有这个类:开发完毕,然后打包jar包,将jar包加入到flume中,有两种方法:方法一 :进入vi /etc/profile 在文件中加入 export FLUME_CLASSPATH = XXX/XX/XXX.jar在CALSSPATH 的尾部加入:$FLUME_CLASSPATH , 然后保存退出后,在命令行执行sh /etc/profile ,通转载 2014-07-08 11:35:50 · 8615 阅读 · 4 评论 -
flume-ng负载均衡load-balance、failover集群搭建
转自:http://blog.csdn.net/morning_pig/article/details/9093149集群采用3台机器:[html] view plaincopyhost1 load-balance设置 host2 机器1 host3 机器2 其中,host1 机器配置:[ht转载 2014-07-10 19:25:40 · 11970 阅读 · 0 评论 -
Flume-ng:avro源发送日志
agent3 配置agent3.channels.ch1.type = memoryagent3.sources.avro-source1.channels = ch1agent3.sources.avro-source1.type = avroagent3.sources.avro-source1.bind = 0.0.0.0agent3.sources.avro-sourc原创 2014-07-09 16:28:46 · 10026 阅读 · 1 评论 -
Flume-ng 数据发送速度限制
转自:http://blog.csdn.net/desilting/article/details/27081357转载 2014-07-08 15:37:29 · 2344 阅读 · 0 评论 -
Flume 实战(2)--Flume-ng-sdk源码分析
转自:http://www.cnblogs.com/mumuxinfei/p/3823266.html转载 2014-08-20 16:37:41 · 4582 阅读 · 0 评论 -
Flume(ng) 自定义sink实现和属性注入
转自:http://www.aboutyun.com/thread-7884-1-1.html转载 2014-07-08 13:58:14 · 9212 阅读 · 0 评论 -
flumeng收集日志并存储到HDFS
两台机器agent1收集日志,传送到agent2,agent2上传rizhi原创 2014-07-08 16:54:53 · 4092 阅读 · 0 评论 -
kafka学习四: flume+kafka+storm
转自:http://blog.csdn.net/desilting/article/details/23194039转载 2014-07-08 15:32:35 · 6155 阅读 · 0 评论 -
Flume监听文件目录sink至hdfs配置
一:flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。,Flume架构分为三个部分 源-Source,接收器-Sink,通道-Channel。 二:配置文件 此配置文件source为一个目录,注意,转载 2014-07-07 19:46:45 · 22499 阅读 · 0 评论 -
基于Flume的美团日志收集系统(一)架构和设计
转自:http://www.aboutyun.com/thread-8317-1-1.html转载 2014-07-08 14:32:59 · 8428 阅读 · 1 评论 -
日志收集之flume-ng源码分析
转自:http://blog.csdn.net/hpttlook/article/details/22760547Flume-ng 源码分析简介 近期由于项目需要开发独特的flume-source,因此简单看了下flume的源码。Flume的架构还是比较简单,各个模块功能源码比较清晰。源码目录结构 flume-ng-cha转载 2014-07-08 16:31:01 · 8036 阅读 · 0 评论 -
开源日志系统比较
转自:http://dongxicheng.org/search-engine/log-systems/1. 背景介绍许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征:(1) 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦;(2) 支持近实时的在线分析系统和转载 2014-07-08 10:48:30 · 1036 阅读 · 0 评论 -
Spark 快速理解
转自:http://blog.csdn.net/colorant/article/details/8255958转载 2014-07-08 11:06:49 · 1075 阅读 · 0 评论 -
Spark + Flume
转自:http://blog.csdn.net/u010398018/article/details/36634059SparkStreaming 提供一个处理Flume流的事件,[html] view plaincopyclass FlumeUtils def createStream(ssc: Streaming转载 2014-07-08 11:10:28 · 6476 阅读 · 1 评论 -
基于Flume的美团日志收集系统(二)改进和优化
问题导读:1.Flume的存在些什么问题?2.基于开源的Flume美团增加了哪些功能?3.Flume系统如何调优?在《基于Flume的美团日志收集系统(一)架构和设计》中,我们详述了基于Flume的美团日志收集系统的架构设计,以及为什么做这样的设计。在本节中,我们将会讲述在实际部署和使用过程中遇到的问题,对Flume的功能改进和对系统做的优化转载 2014-07-08 14:32:41 · 14124 阅读 · 4 评论 -
log4j与commons-logging,slf4j的关系
转自:http://blog.sina.com.cn/s/blog_9ed7f0d70101l6z1.html前面有一篇日志中简单的介绍了 log4j,同时也介绍了它与commons-logging的关系,但是突然冒出来一个slf4j,并且slf4j有取代commons-logging的趋势,所以,我们可以推知slf4j与commons-logging的作用应该相差不大的。 好,下面开始先转载 2014-08-12 20:43:59 · 967 阅读 · 0 评论