flume
potpof
这个作者很懒,什么都没留下…
展开
-
关于Flume的优化和高可用
文章目录Flume优化一、内存参数优化(减少GC)1)-xmx和-xms设置相同值,避免在 GC 后调整堆大小带来的压力。2)JVM heap(堆内存)设置4G或更高二、channel优化Flume如何保证数据安全Flume解决数据重复Flume 高可用 Flume优化 一、内存参数优化(减少GC) 解决办法: 1)-xmx和-xms设置相同值,避免在 GC 后调整堆大小带来的压力。 修改 flu...原创 2020-02-16 20:21:19 · 1310 阅读 · 0 评论 -
centos7 安装Flume教程
简单介绍一下Flume: source类型 channel类型 sink类型 接下来开始Flume的安装吧! 环境:两台安装centos7的虚拟机 master: 192.168.19.128 slave:192.168.19.129 flume版本: 1.9.0 链接:https://pan.baidu.com/s/1nPJIJBFuYj_27BN947gCPA 提取码:5dia 通过x...原创 2019-06-09 15:42:59 · 2360 阅读 · 0 评论 -
Flume agent内部原理
Flume Agent 包含三个组件:Source,Channel,Sink Source: Source是从一些其他产生数据的应用中接收数据的活跃组件。有自己产生数据的Source Source 不过这些Source通常用于测试目的。Source可以监听一个或者多个网络端口,用于接收数据或者可以从本地文件系统读取数据。每个Source必须至少连接一个Channel。基于一些标准,一个Source...原创 2019-06-09 19:45:45 · 678 阅读 · 0 评论