Flume在进行数据采集的过程中，有哪些能够优化的地方

最新推荐文章于 2021-07-02 20:32:24 发布
最新推荐文章于 2021-07-02 20:32:24 发布
阅读量376 收藏
点赞数
文章标签： flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/abc5254065/article/details/112853537
版权
  • Flume的双层采集（第一层数据采集，第二层数据汇聚）
  • Channel可以使用Kafka channel，兼具File Channel和Memory Channel的优点；还可以兼具离线和实时计算。
  • Flume替换为轻量级的日志收集组件logstash(ELK套件中的L)，或更轻量集的filebeat
  • Flume拦截器，可以多虑多余的数据，仅保留Json串
迷惘的小行星
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flume13：Flume的优化
weixin_40612128的博客
03-04 1527
一、Flume优化 1、调整Flume进程的内存大小， 建议设置1G~2G，太小的话会导致频繁GC 因为Flume进程也是基于Java的，所以就涉及到进程的内存设置，一般建议启动的单个Flume进程(或者说单个Agent)内存设置为1G~2G，内存太小的话会频繁GC，影响Agent的执行效率。 那具体设置多少合适呢？ 这个需求需要根据Agent读取的数据量的大小和速度有关系，所以需要具体情况具体分析，当Flume的Agent启动之后，对应就会启动一个进程，我们可以通过jstat -gcutil PID 10
基于Flume的美团日志收集系统(二)改进和优化
美团技术团队
12-09 1018
在《基于Flume的美团日志收集系统(一)架构和设计》中，我们详述了基于Flume的美团日志收集系统的架构设计，以及为什么做这样的设计。在本节中，我们将会讲述在实际部署和使用过程中遇到的问题，对Flume的功能改进和对系统做的优化。 1 Flume的问题总结 在Flume的使用过程中，遇到的主要问题如下： a. Channel“水土不服”：使用固定大小的MemoryChannel在...
Flume生产性能调优
mischen520的博客
07-02 405
1）Source 增加Source个（使用Tair Dir Source时可增加FileGroups个数）可以增大Source的读取数据的能力。例如：当某一个目录产生的文件过多时需要将这个文件目录拆分成多个文件目录，同时配置好多个Source 以保证Source有足够的能力获取到新产生的数据。 batchSize参数决定Source一次批量运输到Channel的event条数，适当调大这个参数可以提高Source搬运Event到Channel时的性能。 2）Channel type 选择memor.
flume数据采集_离线数据采集-flume优化
weixin_39600328的博客
11-30 337
Flume 采集数据到hdfs 小文件优化
Genebrother
03-20 724
众所周知，从flume采集数据到hdfs的时候，需要避免小文件的产生，太多的小文件，在数据处理的过程中，会降低数据处理的性能，那么在日常的flume采集到hdfs的文件，如果避免小文件的产生？ 在flume的sink操作时，有涉及到3个默认的参数，分别是: a1.sinks.k1.hdfs.rollInterval a1.sinks.k1.hdfs.rollSize a1.sinks.k1.hdfs.rollCount 这三个参数分别表示 （rollInterval）：每次间隔多久往hd.
基于 Apache Flume 定制的数据采集工具.zip
最新发布
01-04
在这个名为"基于 Apache Flume 定制的数据采集工具.zip"的压缩包中，我们主要关注的是一个名为 "flume-collect-master" 的项目，这可能是一个包含了自定义Flume代理的源代码实现。Flume 提供了一个灵活的架构，允许...
kafka+flume 实时采集oracle数据到hive中.docx
08-11
基于Kafka+Flume实时采集Oracle数据到Hive中 一、Kafka获取Oracle日志实时数据 Kafka是一种分布式流媒体平台，能够实时地从Oracle数据库中提取日志信息。为了实现这一点，需要先安装ZooKeeper和Kafka，然后配置...
Flume 数据采集实战
12-22
Flume 是大数据领域中常用的数据采集工具，它能高效地从各种数据源收集数据，然后传输至其他组件，如 Spark 或 Kafka，以便进行进一步的分析处理。在日志分析场景下，Flume 常用于收集服务器日志，以监控服务器运行...
基于Ansible和Flume的海量数据自动化采集系统
01-12
该系统通过调用Python脚本的方式定期从Ansible Inventory中拉取各主机的运行状态信息，同时由Flume配置采集agent到各数据库和中间件服务器中，进行日志数据的采集、预处理和下放，并将数据输出到数据库中，实现对...
实时大数据采集框架Flume详解（视频+课件+代码+工具）
02-15
04_Flume中配置使用file channel及HDFS sink 05_Flume中配置HDFS文件生成大小及时间分区 06_Flume中配置Spooling Dir的使用 07_Flume中配置Spooling Dir的文件过滤 08_Flume中配置扇入架构的介绍 09_Flume中...
关于Flume的优化和高可用
01-20
文章目录Flume优化一、内存参数优化（减少GC）1）-xmx和-xms设置相同值，避免在 GC 后调整堆大小带来的压力。2）JVM heap（堆内存）设置4G或更高二、channel优化Flume如何保证数据安全（高可用）事务机制Flume解决数据重复负载均衡知道 Flume 的 Channel 是啥吗介绍一下 Memory Channel说说 File Channel说说 Kafka Channel介绍一下 Kafka 几种 Sink知道 Flume 的拦截器吗介绍一下什么是选择器了解 Flume 的负载均衡和故障转移吗 Flume优化 一、内存参数优化（减少GC） 解决办法： 1）-xm
flume高并发优化——（2）精简结构
大JAVA解决方案
06-02 1737
2016年04月25日 16:51:27阅读数：5171        大家在上篇博客中，可以看到，对flume本身的优化，我们可以说是一个较大的进步，但是，后期梳理时，发现，数据的处理经过了很多没有必要的步骤，我们的处理有些多余，但是精简哪里，又成为了一个问题，本篇博客带领大家一起看看，精简的关键位置及效果。还是老样子，大家会议上篇博客的架构：        不难看出，有一个性能点就是从主端口下...
Flume数据收集使用例子
Messi的小迷弟
08-17 349
一、架构 Flume以一个或多个Agent部署运行 Agent包含三个组件 Source Channel Sink 多层串联(拓扑结构) 简单串联 多路数据流 合并，将多个源合并到一个目的地 二、Source 几种source的type exec source spooling directory source http source avro source kafka source netcat source 1. exec source 执行Linux指令，并消费指令返回的结果，如“ta
Flume日志收集分层架构应用实践
大数据技术杂谈
03-22 2485
Flume作为一个日志收集工具，非常轻量级，基于一个个Flume Agent，能够构建一个很复杂很强大的日志收集系统，它的灵活性和优势，主要体现在如下几点： 模块化设计：在其Flume Agent内部可以定义三种组件：Source、Channel、Sink 组合式设计：可以在Flume Agent中根据业务需要组合Source、Channel、Sink三种组件，构建相对复杂的日志流
文件的读写基本操作
热门推荐
范高伦的博客
09-07 1万+
一、文件是计算机中数据持久化存储的表现形式 读写文件标准操作格式1： 1、打开文件：file1 = open('文件名','读写模式') 2、操作文件 3、关闭文件：file1.close() 文件操作完毕后必须关闭，否则长期保持对文件的连接状态，造成内存溢出的现象发生 读写文件操作格式2： # 1、打开文件 file1 = open('demo.txt','w') # 2、操作文件 file1.write('hello world') # 3、关闭文件 file1.close() 1、打开文件：wi
双层flume，中间件kafka，采集到hdfs并按日期分文件夹
desperado0726的博客
05-08 1670
1.架构 要采集的日志位于hadoop102和hadoop103两个节点上，采集数据到kafka中，这是第一层flume。 再从Kafka采集到hdfs中，这是第二层flume。 2.第一层flume 自定义拦截器，过滤非json数据 import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONObject; import org.apache.flume.Context; import org.apache.flume.Event;
Flume-NG之KafkaChannel
weixin_30347335的博客
03-01 169
　　apache下一个版本(1.6)将会带来一个新的组件KafKaChannel，顾名思义就是使用kafka做channel，当然在CDH5.3版本已经存在这个channel。 　　大伙知道，常用的channel主要有三个： 　　1、memory channel：用内存做channel，优点是速度最快，容易配置；缺点是，可靠性最差，因为一旦flume进程挂了内存中还未出来的数据也就没了； 　...
Flume的容错性测试和双层Flume架构
程研板的博客
01-25 1770
目录一.Failover Sink Processor测试 一.Failover Sink Processor测试 官网解释Failover Sink Processor： Failover Sink Processor维护一个按优先级排列的sink列表，确保只要有一个sink可用，事件就会被处理(交付)。 Failover机制的工作原理是将失败的接收转移到池中，在池中为它们分配一个冷却期，在重新尝试它们之前，随着顺序故障的增加而增加。一旦接收器成功地发送了一个事件，它就会被恢复到活动池。sink有一个与它
Flume + Kafka + TridentStorm + Hbase项目实战
vinfly_li的博客
02-28 1707
Flume + Kafka + TridentStorm + Hbase项目实战 版权声明:禁止转载,转载必究 标签（空格分隔）： Storm项目 Write by Vin 1,项目简介 项目名称:基于Storm开发实现的实时网站流量统计 项目需求:通过Storm分析业务系统产生的网站访问日志数据,实时的统计出各种PV,包括: 每个URL单独的PV 网站外链...
Flume数据采集详解：高可用日志收集系统
Flume的监控文件和目录数据的功能，使得它能够实时跟踪和收集指定位置的变化，如日志文件的新增或修改，进一步增强了其在大数据环境中的实用性。启动脚本则帮助用户便捷地管理和控制Flume服务的启动、停止和状态检查...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值