bigdata_Flume
乔治大哥
脚踏实地,仰望星空。
展开
-
Flume实操(四)【单数据源多出口案例(选择器)】
单Source多Channel、Sink如图所示。1)案例需求:使用Flume-1监控文件变动,Flume-1将变动内容传递给Flume-2,Flume-2负责存储到HDFS。同时Flume-1将变动内容传递给Flume-3,Flume-3负责输出到Local FileSystem。2)需求分析:0.准备工作在/opt/flume/job目录下创建group1文件夹[...原创 2019-12-09 19:54:59 · 466 阅读 · 2 评论 -
大剑无锋之flume面试题【面试推荐】
1 你是如何实现Flume数据传输的监控的使用第三方框架Ganglia实时监控Flume。2 Flume的Source,Sink,Channel的作用?你们Source是什么类型?1、作用(1)Source组件是专门用来收集数据的,可以处理各种类型、各种格式的日志数据,包括avro、thrift、exec、jms、spooling directory、netcat、sequence...原创 2019-12-09 19:10:02 · 232 阅读 · 0 评论 -
Flume实操(三)【实时读取目录文件到HDFS案例】
1)案例需求:使用Flume监听整个目录的文件2)需求分析:3)实现步骤:1.创建配置文件flume-dir-hdfs.conf[root@henu1 job]# touch flume-dir-hdfs.conf[root@henu1 job]# vi flume-dir-hdfs.conf添加以下内容:a3.sources = r3a3.sinks = k...原创 2019-12-09 19:06:10 · 453 阅读 · 0 评论 -
Flume实操(二)【实时读取本地文件到HDFS案例】
1)案例需求:实时监控本地一文件,并上传到HDFS中2)需求分析:【图示为Hive启动日志,这里做一个更为普通的本地文件】3)实现步骤:1.Flume要想将数据输出到HDFS,必须持有Hadoop相关jar包Cd /opt/hadoop-2.6.5find ./ -name "commons-configuration-1.6.jar"cp./share/hadoop/c...原创 2019-12-09 18:52:53 · 612 阅读 · 0 评论 -
Flume实操(一)【监控端口数据官方案例】
1)案例需求:首先,Flume监控本机44444端口,然后通过telnet工具向本机44444端口发送消息,最后Flume将监听的数据实时显示在控制台。2)需求分析:3)实现步骤: 1.安装telnet工具yum install telnet2.判断44444端口是否被占用sudo netstat -tunlp | grep 44444功能描述:netst...原创 2019-12-09 16:54:36 · 1061 阅读 · 0 评论 -
Flume总结
Flume Flume概述 Sqoop是采集离线数据到大数据平台 Flume是采集流式数据到大数据平台 Flume概念 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。 为什么使用flume? ...原创 2019-11-10 21:58:40 · 312 阅读 · 0 评论 -
Flume案例实操
案例实操3.1Flume实时读取目录中文件到HDFS案例1)案例需求:使用flume监听整个目录的文件2)需求分析:3)实现步骤:1.创建配置文件flume-dir-hdfs.conf创建一个文件[root@linux02 job]$ touch flume-dir-hdfs.conf打开文件[root@linux02 job]$ vim flume-d...原创 2019-11-10 14:13:37 · 584 阅读 · 1 评论 -
Flume安装
flume的安装也是其一大优势,简单便利1) Flume官网地址http://flume.apache.org/2)文档查看地址http://flume.apache.org/FlumeUserGuide.html3)下载地址http://archive.apache.org/dist/flume/2.2 安装部署1)将apache-flume-1.7.0-b...原创 2019-11-10 14:06:08 · 220 阅读 · 0 评论