博客专栏  >  移动开发   >  flume高并发优化

flume高并发优化

在企业级应用中,flume是个经常使用的管道工具,本专栏旨在解决在flume遭遇文件性能瓶颈时的优化思路与具体配置,帮助企业解决类似问题。

关注
15 已关注
16篇博文
  • flume高并发优化——(16)解决offsets变小问题

    offsets初始化在上篇博客中《flume高并发优化——(14)解决空行停止收集数据问题,及offsets变小问题 》我们遗留了一个小问题,就是offsets变小的问题,迟迟未解决,经过研究flum...

    2017-07-31 10:24
    405
  • flume高并发优化——(15)中间件版本升级

    在系统平稳运行一年的基础上,为提供更好的服务,现针对java,kafka,flume,zk,统一进行版本升级,请各位小伙伴跟着走起来,不要掉队啊! 名称 老版本号 新版本号 jdk ...

    2017-07-21 16:10
    2307
  • flume高并发优化——(14)解决空行停止收集数据问题,及offsets变小问题

    日志平台运行一段时间,发现日志有部分丢失,通过检查日志,发现有两个问题导致数据丢失,一个是遇到空行后,日志停止收集,还有就是kafka监控offsets时变小,通过分析代码,找到如下方法:空行问题: ...

    2017-07-21 15:42
    508
  • flume高并发优化——(13)扩展三级文件配置&利用Headers扩展属性

    上篇博客中,我们对flume进行了文件组进行了扩展,但是我们现在的配置还是针对某组文件单独配置,这样的维护成本还是太高,为了持续优化,我们对常见的三级文件进行优化(**logs/**project/*...

    2016-10-12 09:10
    2298
  • flume高并发优化——(12)filesource 支撑文件组&兼容cat监控

    主因        在上篇博客中,我们已经做到了非常不错的多文件检索,但是,还有一个问题,就是针对不同的项目,需要多个配置文件,这样,对运维,是个非常繁琐的问题,针对这个问题,本版对flume扩展了文...

    2016-09-29 21:04
    1382
  • flume高并发优化——(11)排除json转换及中文乱码

    在使用flume收集数据,转换为json格式时,常常遇到特殊符号的问题,而json对于”引号,是非常敏感的,大家处理json数据的时候,要特别注意,在前不久,向es插入数据时,报错就是json转换失败...

    2016-08-19 18:31
    2402
  • flume高并发优化——(10)消灭elasticsearch sink多次插入

    在flume作为通道接收json数据时,最近遇到一个问题,当flume-es-sink遭遇一个错误的时候,会不断尝试插入数据,而以前的数据又没有进行回滚,导致数据重复插入,脏数据累积,为了解决这个问题...

    2016-08-19 18:14
    2462
  • flume高并发优化——(9)配置文件交由zookeeper管理

    我们都希望,配置文件是从一个服务引出,然后客户端监听服务端变化,实时重启自身加载最新配置,这样,我们就不用维护每个独立的客户端配置,更新也变得非常简单,而flume,显然意识到了这一个巨大的实惠,他是...

    2016-07-22 14:49
    5119
  • flume高并发优化——(8)多文件source扩展断点续传

    在很多情况下,我们为了不丢失数据,一般都会为数据收集端扩展断点续传,而随着公司日志系统的完善,我们在原有的基础上开发了断点续传的功能,以下是思路,大家共同讨论:核心流程图:              ...

    2016-06-22 18:21
    6392
  • flume高并发优化——(7)RandomAccessFile升级多文件source

    本篇文章旨在解决tail文件io断裂问题,我们使用linux原生的tail ,启动多个线程,做到对多个文件的数据收集,但是,随着业务日志增多,日志以日期分割,是个常用的做法,但是这样,就使得我们的fl...

    2016-05-11 11:54
    4550
  • flume高并发优化——(6)开发多文件检索source插件

    To detect all files in a folder step: 1,config one path 2,find all file with RegExp 3,ta...

    2016-05-03 18:20
    6857
  • flume高并发优化——(5)KafkaOffsetMonitor

    本片博客是介绍一款kafka监控的软件,以配合查看flume的kafka channel性能,其实这是个非常简单的项目,我们只需要下载好jar包,就可以使用了1,下载jar包http://pan.ba...

    2016-04-25 18:05
    2275
  • flume高并发优化——(4)kafka channel

    在上篇博客中,我们还留了一个小疑问,就是我们对最后一个flume的优化是如何做的,关于这一点,我们的思路是这样的,file的瓶颈是io,而我们使用的硬盘是5400转1t硬盘,如果想要优化,我们必须找到...

    2016-04-25 17:40
    5260
  • flume高并发优化——(3)haproxy

    在上篇博客中,我们虽然进行了较大的改动,但是,没有料到的是,flume的file性能瓶颈会如此快的到来,由于我们使用了一个filechannel作为负载均衡的通道,导致性能瓶颈很快到来,为了应对这样的...

    2016-04-25 17:09
    3702
  • flume高并发优化——(2)精简结构

    大家在上篇博客中,可以看到,对flume本身的优化,我们可以说是一个较大的进步,但是,后期梳理时,发现,数据的处理经过了很多没有必要的步骤,我们的处理有些多余,但是精简哪里,又成为了一个问题,本篇博客...

    2016-04-25 16:51
    3843
  • flume高并发优化——(1)load_balance

    通过一年多时间的使用,统一日志系统,已经接入公司前台,在20个节点,几十万用户,数百亿交易额的大压力下,仅仅使用了一个普通的服务器,承受住了严峻的考验,在公司今年更宏大的目标,也是为了给大数据组提供更...

    2016-04-25 16:33
    4788
img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部