flume
harderc111
精通是相对的,无知是绝对的,道阻且长
展开
-
订阅 flume监控spoolDir日志到HDFS整个流程小Demo
地址: http://blog.csdn.net/qq_20641565/article/details/52807776今天做了一个flume监控spoolDir日志到HDFS整个流程的小Demo。流程: 1.编写java代码,随机生成用户ID号码,区县号码,乡镇号码(区县和乡镇号码用随机的三位字母表示)和个人总收入格式样例:779362a1-bf04-468a-91b6-a19d772f41...转载 2018-03-15 10:32:17 · 306 阅读 · 0 评论 -
Apache Flume 1.7.0 各个模块简介
Flume简介Apache Flume是一个分布式、可靠、高可用的日志收集系统,支持各种各样的数据来源,如http,log文件,jms,监听端口数据等等,能将这些数据源的海量日志数据进行高效收集、聚合、移动,最后存储到指定存储系统中,如kafka、分布式文件系统、Solr搜索服务器等;Apache Flume主要有以下几大模块组成:数据源采集(Source)数据拦截(Interceptor)通道选...转载 2018-05-19 15:56:10 · 310 阅读 · 0 评论 -
flume 的source 、channel和sink 多种组合
地址:https://blog.csdn.net/u013870094/article/details/80034800乐高积木flumeflume 有三大组件source 、channel和sink,各个组件之间都可以相互组合使用,各组件间耦合度低。使用灵活,方便。1.多sinkchannel 的内容只输出一次,同一个event 如果sink1 输出,sink2 不输出;如果sink1 输出,s...转载 2018-04-21 23:09:03 · 1604 阅读 · 3 评论 -
Flume数据采集各种配置详解
Flume简介Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。系统功能日志收集Flume最早是Cloudera提供的日志收集系统,目前是Apache下的一个孵化项目,Flume支持在日志系统中定制各类数据发送方,...转载 2018-04-21 22:34:39 · 4969 阅读 · 0 评论 -
Flume监控及参数调优
flume监控在flume传输数据的过程中,打开监控,查看CPU、内存等的变化情况也挺有意思的,见JConsole&VisualVM监控总结 。另外,当报的错莫名奇妙时,可以尝试调整参数,监控不同效果,往往能快速确定最佳参数,解决问题。flume各部分参数含义batchData的大小见参数:batchSizePutList和TakeList的大小见参数:transactionCapacti...转载 2018-04-21 20:15:05 · 1743 阅读 · 0 评论 -
高可用flume-ng搭建
一、概述1.通过搭建高可用flume来实现对数据的收集并存储到hdfs上,架构图如下:二、配置Agent1.cat flume-client.properties#name the components on this agent 声明source、channel、sink的名称 a1.sources = r1 a1.sinks = k1 k2 a1.channels = c1 ...转载 2018-04-21 20:05:54 · 461 阅读 · 0 评论 -
Flume性能优化实践
地址:https://www.tuicool.com/articles/eim2Iv2最近公司落地Flume日志采集着实反复了好久,简单记录一下性能优化的核心思路。初始配置所有batch size、transaction size都是1000,channel的capactiy是10000。版本一最初我是按Memory Channel做压测,Taildir的source采集增量日志,Memory C...转载 2018-04-22 00:56:26 · 4853 阅读 · 2 评论 -
编写flume-ng扩展提升吞吐
地址:https://www.tuicool.com/articles/i2UnYbY最近在公司做openresty+flume+kafka的前端日志采集,在测试flume时发现向kafka传输的带宽吞吐才20MB/s,远远无法满足需求。找到瓶颈不可盲目盲目优化是很浪费时间的,一开始只能调调flume参数,改改batchSize之类的参数,结果无功而返。最终无奈,决定静心看一下flume的架构原理...转载 2018-04-22 00:43:24 · 1431 阅读 · 0 评论 -
flume 读取数据存入mysql(一)
地址:https://blog.csdn.net/u012373815/article/details/54098581本文需求是用flume 监控文件,然后将文件的内容存放在mysql数据库中。本文结构mysql 表设计MysqlSink编写conf 配置打包测试1.mysql 表设计 首先声明本文的event ,本文的event内容 是”exec taili,yang”,exectail...转载 2018-03-25 17:32:03 · 6051 阅读 · 0 评论 -
flume自定义组件的 jar 包管理
地址:https://blog.csdn.net/u012373815/article/details/54352177自定义flume 组建后,将项目打成jar 包,关于这个jar 包的管理和使用我在这里列举了三中方式。这三种方式都可以,随自己喜好使用。1. lib 目录将maven项目打成jar包,将jar 包放到flume的lib 目录下。此方法简单粗暴,缺点就是jar 包不易管理2. 官方...转载 2018-03-25 16:43:55 · 815 阅读 · 0 评论 -
flume 的安装和入门小例子
地址:https://blog.csdn.net/u012373815/article/details/54025112本文结构 我的环境 CentOS 7flume 安装与启动flume 的avro小例子Spool 的小例子Syslogtcp 小例子1. flume 安装与启动1.1 下载安装包访问官网传送门,不信你不点下载apache-flume-1.7.0-bin.tar.gz 安装包。 并...转载 2018-03-25 16:28:37 · 254 阅读 · 0 评论 -
基于flume1.7开发自定义Sink组件-一键打包
概要flume就不啰嗦什么什么,懂得都说好,上车地址:https://flume.apache.org/开始pom文件 ide使用idea神器,工程组织使用maven,下面是工程的pom文件:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.原创 2018-11-01 19:37:53 · 1618 阅读 · 1 评论