![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
u013063153
这个作者很懒,什么都没留下…
展开
-
Flume概述—报表数据流
SQOOP工具将HDFS数据导入MySQL中。原创 2017-07-05 22:22:53 · 353 阅读 · 0 评论 -
Flume基本概念
1、Flume是什么? ○ Flume是由cloudera开发的实时日志收集系统 ○ 核心概念是由一个叫做Agent(代理节点)的java进程运行在日志收集节点 ○ Flume在0.94.0版本以前(包含0.94.0版本)称为Cloudera Flume OG,由于0.94.0版本以前存在各种缺陷,因此不得不重新设计Flume并更名为Apache Flume NG转载 2017-01-20 12:22:20 · 509 阅读 · 0 评论 -
Flume日志收集分层架构应用实践
原文链接:http://shiyanjun.cn/archives/1497.htmlFlume作为一个日志收集工具,非常轻量级,基于一个个Flume Agent,能够构建一个很复杂很强大的日志收集系统,它的灵活性和优势,主要体现在如下几点:模块化设计:在其Flume Agent内部可以定义三种组件:Source、Channel、Sink组合式设计:可以在Flume A转载 2017-03-07 10:52:49 · 771 阅读 · 0 评论 -
用户访问页面js执行工作流示例一
原创 2017-07-05 22:37:09 · 319 阅读 · 0 评论 -
Flume netcat被动source示例
一个Flume任务就是一个Agent,是由三部分组成,如图所示:主要关注source和sink。source分为主动的source和被动的source。sink比如HDFS客户端,Kafka客户端等。tar -zxvf apache-flume-1.6.0-bin.tar.gz配置环境变量vim ~/.bash_profile...sourc原创 2017-07-05 23:15:58 · 1102 阅读 · 0 评论 -
Flume spooldir主动source示例
vim test02# example.conf: A single-node Flume configuration# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type原创 2017-07-05 23:33:35 · 1558 阅读 · 0 评论