Flume/Scribe
小麒麟666
这个作者很懒,什么都没留下…
展开
-
均衡负载方式搭建高可用的flume-ng环境写入信息到hadoop和kafka
应用场景为多台agent推送本地日志信息到hadoop,由于agent和hadoop集群处在不同的网段,数据量较大时可能出现网络压力较大的情况,所以我们在hadoop一侧的网段中部署了两台flume collector机器,将agent的数据发送到collector上进行分流,分成2个collector的数据导入hadoop,数据流图如下:图中只画了3个agent,实际应用场景中有多台原创 2016-09-14 17:53:51 · 2920 阅读 · 1 评论 -
c++通过Thrift向flume发送数据
在flume源码包apache-flume-1.7.0-src\flume-ng-sdk\src\main\thrift\flume.thrift 目录下,有Flume的Thrift接口定义(IDL)语言,通过该Thrift可以生成客户端模块基础代码,此处我们生成相应的c++代码:thrift -r --gen cpp flume.thrift编译过程中可能会报 "libthrift-0.9.原创 2017-09-15 17:22:43 · 849 阅读 · 0 评论 -
生产环境中的flume海量数据传输性能优化
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统, 优化方法 java环境 channel类型 sink类型与个数 是否压缩 source已经接收到的事件总数量 写入速度 成功写入channel且提交的事件总数量 sink成功读取的channel事件的总数量 sink成功写出到存储的事件总数量 ch原创 2017-09-01 19:28:02 · 4980 阅读 · 5 评论 -
python通过thrift实现向flume发送数据
Apahce Thrift是FaceBook实现的一种高效的、支持多种语言的远程服务调用的框架。Source是负责接收数据到Flume Agent的组件,可以从其他系统中接收数据。Flume有Java Thrift RPC客户端,是FLume SDK的一部分,Thrift Source是多线程,高性能的Thrift服务器,Flume的Thrift接口定义(IDL)语言如下:namespac原创 2017-09-08 11:12:46 · 2581 阅读 · 0 评论 -
Scribe安装及配置方法
转自:http://cyr520.blog.51cto.com/714067/1209485?utm_source=tuicool&utm_medium=referralScribe简介Scribe是Facebook开源的分布式日志收集系统,目前在各大互联网公司内部已经得到大量的应用。它能够从各种日志源上收集日志,存储到一个中央存储系统(可以是NFS,分布式文件系统等)转载 2016-07-22 16:43:16 · 4804 阅读 · 0 评论 -
scribe数据接入flume问题解决方法
原先的日志收集系统采用scribe方式,对接hadoop,原先对接的是hadoop1,现在由于系统升级需要对接到hadoop2上去,但是Facebook已经停止了对scribe的维护,现有版本的scribe在对接过程中存在很多问题,研究后决定采用更加方便强大的flume进行数据对接。之前的项目中有个程序将数据打包成scribe的格式后传递给scribe,现在需要继续使用这个发送程序,所以相当于原创 2016-09-18 14:19:18 · 1758 阅读 · 0 评论 -
详解scribe+flume搭建高可用的负载均衡日志收集系统入hadoop和kafka
一、系统架构为增强系统的可靠性,flume系统分为agent层和collector层agent层是每个每个需要收集日志的主机,有若干台,可自由扩展;每台agent机器运行一个carpenter程序将相应目录下的日志信息发送给本机上的flume source,对应avro sink将数据推送到两台collector(采用均衡负载的方式推送,若其中一台collector故障则全部推送给另一台)原创 2016-09-28 17:43:18 · 2831 阅读 · 0 评论 -
记Flume-NG一些注意事项
这里只考虑flume本身的一些东西,对于JVM、HDFS、HBase等得暂不涉及。。。。 一、关于Source: 1、spool-source:适合静态文件,即文件本身不是动态变化的; 2、avro source可以适当提高线程数量来提高此source性能; 3、ThriftSource在使用时有个问题需要注意,使用批量操作时出现异常并不会打印异常内容转载 2016-09-30 10:35:05 · 580 阅读 · 0 评论 -
flume案例集锦
案例一:AvroAvro可以发送一个给定的文件给Flume,Avro 源使用AVRO RPC机制。a)创建agent配置文件root@m1:/home/hadoop#vi /home/hadoop/flume-1.5.0-bin/conf/avro.conf a1.sources = r1a1.sinks = k1a1.channels = c1 # Des转载 2016-09-19 19:03:02 · 799 阅读 · 0 评论 -
记flume部署过程中遇到的问题以及解决方法(持续更新)
项目需求是将线上服务器生成的日志信息实时导入kafka,采用agent和collector分层传输,app的数据通过thrift传给agent,agent通过avro sink将数据发给collector,collector将数据汇集后,发送给kafka,拓扑结构如下:现将调试过程中遇到的问题以及解决方法记录如下:1、 [ERROR - org.apache.thrift.server.Abstr...原创 2017-08-21 16:52:00 · 48298 阅读 · 13 评论