flume-下水道
_东极
少年锦时
展开
-
(终章)flume面试题集锦
文章目录Flume数据传输的监控的Flume的Source,Sink,Channel的作用?你们Source是什么类型?Flume的Channel SelectorsFlume参数调优Flume的事务机制Flume采集数据会丢失吗?Flume数据传输的监控的使用第三方框架Ganglia实时监控Flume。Flume的Source,Sink,Channel的作用?你们Source是什么类型?...原创 2019-11-08 23:14:37 · 2413 阅读 · 0 评论 -
(8)flume自定义mysql source
文章目录代码实现SQLSourceHelper测试根据官方说明自定义mysqlsource需要继承AbstractSource类并实现Configurable和PollableSource接口。实现相应方法:getBackOffSleepIncrement()//暂不用getMaxBackOffSleepInterval()//暂不用configure(Context context)/...原创 2019-11-08 23:19:53 · 465 阅读 · 0 评论 -
(7)flume自定义sink
文章目录介绍需求编码介绍Sink不断地轮询Channel中的事件且批量地移除它们,并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。Sink是完全事务性的。在从Channel批量删除数据之前,每个Sink用Channel启动一个事务。批量事件一旦成功写出到存储系统或下一个Flume Agent,Sink就利用Channel提交事务。事务一旦被提交,该Channe...原创 2019-11-05 23:22:49 · 359 阅读 · 0 评论 -
(5)Flume监控之Ganglia
文章目录安装操作Flume测试监控Ganglia : 发音 干个你儿安装安装httpd服务与phpyum -y install httpd php安装其他依赖yum -y install rrdtool perl-rrdtool rrdtool-develyum -y install apr-devel安装ganglia rpm -Uvh http://dl.fe...原创 2019-11-04 23:32:56 · 313 阅读 · 0 评论 -
(6)flume自定义source
文章目录概述需求分析编码测试概述Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据,包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。官方提供的source类型已经很多,但是有时候并不能满足实际开发当中的需求,此...原创 2019-11-04 23:31:16 · 307 阅读 · 0 评论 -
(4)多数据源汇总案例
文章目录架构图1.案例需求2.需求分析3. 具体实现架构图1.案例需求note01上的Flume-1监控文件/opt/module/group.lognote02上的Flume-2监控某一个端口的数据流Flume-1与Flume-2将数据发送给hadoop104上的Flume-3,Flume-3将最终数据打印到控制台。2.需求分析3. 具体实现分发Flume[root@not...原创 2019-11-03 23:52:26 · 684 阅读 · 0 评论 -
(3)单数据源多出口案例(Sink组)负载均衡器
文章目录逻辑架构1.创建flume-netcat-flume.conf创建flume-flume-console1.conf3.创建flume-flume-console2.conf执行配置文件逻辑架构单Source、Channel多Sink(负载均衡)如图7-3所示。1)案例需求:使用Flume-1监控文件变动,Flume-1将变动内容传递给Flume-2,Flume-2负责存储到HDF...原创 2019-11-03 19:13:00 · 556 阅读 · 0 评论 -
(3)Flume监控端口,读取本地文件到HDFS,读取目录文件到HDFS
文章目录监控端口数据实时读取本地文件到HDFS监控端口数据案例首先启动Flume任务,监控本机44444端口服务端: 通过netcat工具向本机44444端口发送消息客户端:Flume将监听的数据实时显示在控制台1.安装netcat工具yum install -y nc2.判断44444端口是否被占用netstat -tunlp | grep 44444功能描述:netst...原创 2019-11-01 00:05:47 · 1178 阅读 · 0 评论 -
(2)Flume的安装部署
文章目录Flume安装地址安装部署Flume安装地址Flume官网地址http://flume.apache.org/文档查看地址http://flume.apache.org/FlumeUserGuide.html下载地址http://archive.apache.org/dist/flume/安装部署1)将apache-flume-1.7.0-bin.tar.gz上传到lin...原创 2019-10-31 23:06:15 · 292 阅读 · 0 评论 -
(1)Flume的概述
文章目录Flume定义Flume的优点Flume组成架构AgentSourceChannelSinkEventFlume拓扑结构Flume Agent内部原理Flume定义Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。Flume的主要作用是实时读取服务器本地磁盘数据,将数据写入到hdfs上Flume的优...原创 2019-10-30 23:17:40 · 535 阅读 · 0 评论 -
flume自定义拦截器实现日期在hdfs上分类
pom.xml<dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <version>1.7.0</version> </depe...原创 2019-07-08 21:48:31 · 800 阅读 · 0 评论 -
Flume的使用
Flume简介Flume提供分布式,可靠的,对大数据量的日志进行高效的收集,聚集,移动的服务,只能运行unix环境基于流式架构,容错性强flume,kafka用来实时进行数据收集,spark,storm用来实时处理数据,impala用来实时查询Flume角色一个flume任务为一个agent**Source:**用于采集数据,Source 产生数据流的地方,同时sou...原创 2018-11-22 15:13:18 · 343 阅读 · 0 评论