- 博客(5)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 记Flume-NG一些注意事项
这里只考虑flume本身的一些东西，对于JVM、HDFS、HBase等得暂不涉及。。。。 一、关于Source： 1、spool-source：适合静态文件，即文件本身不是动态变化的； 2、avro source可以适当提高线程数量来提高此source性能； 3、ThriftSource在使用时有个问题需要注意，使用批量操作时出现异常并不会打印异常内容
2016-09-30 10:35:05
580
原创 详解scribe+flume搭建高可用的负载均衡日志收集系统入hadoop和kafka
一、系统架构 为增强系统的可靠性，flume系统分为agent层和collector层 agent层是每个每个需要收集日志的主机，有若干台，可自由扩展；每台agent机器运行一个carpenter程序将相应目录下的日志信息发送给本机上的flume source，对应avro sink将数据推送到两台collector（采用均衡负载的方式推送，若其中一台collector故障则全部推送给另一台）
2016-09-28 17:43:18
2831
转载 flume案例集锦
案例一：Avro Avro可以发送一个给定的文件给Flume，Avro 源使用AVRO RPC机制。 a)创建agent配置文件 root@m1:/home/hadoop#vi /home/hadoop/flume-1.5.0-bin/conf/avro.conf a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Des
2016-09-19 19:03:02
799
原创 scribe数据接入flume问题解决方法
原先的日志收集系统采用scribe方式，对接hadoop，原先对接的是hadoop1，现在由于系统升级需要对接到hadoop2上去，但是Facebook已经停止了对scribe的维护，现有版本的scribe在对接过程中存在很多问题，研究后决定采用更加方便强大的flume进行数据对接。 之前的项目中有个程序将数据打包成scribe的格式后传递给scribe，现在需要继续使用这个发送程序，所以相当于
2016-09-18 14:19:18
1758
原创 均衡负载方式搭建高可用的flume-ng环境写入信息到hadoop和kafka
应用场景为多台agent推送本地日志信息到hadoop，由于agent和hadoop集群处在不同的网段，数据量较大时可能出现网络压力较大的情况，所以我们在hadoop一侧的网段中部署了两台flume collector机器，将agent的数据发送到collector上进行分流，分成2个collector的数据导入hadoop，数据流图如下： 图中只画了3个agent，实际应用场景中有多台
2016-09-14 17:53:51
2920
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人