flume basic
hao难懂
这个作者很懒,什么都没留下…
展开
-
01Flume概述
一、Flume定义 Flume是Cloudera提供的一个高可用的、高可靠的,分布式的海量日志采集、聚合和传输的系统。 Flume基于流式架构,灵活简单。 Flume最主要的作用就是,实时读取服务器本地磁盘的数据,将数据写入HDFS中。 二、Flume组成架构 1.Agent Agent是一个JVM进程,它以事件的形式将数据从源头送至目的, 是Flume数据传输的基本单元。其主要有...原创 2019-08-24 20:02:45 · 87 阅读 · 0 评论 -
12测试
1.Jar包准备 将MySql驱动包放入Flume的lib目录下 cp \ /root/sorfware/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar \ /root/app/flume/lib/ 打包项目并将Jar包放入Flume的lib目录下 2.配置文件准备 touch mys...原创 2019-08-29 15:02:56 · 288 阅读 · 0 评论 -
11自定义MySQLSource
1.导入Pom依赖 <dependencies> <dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <version>1.7.0</version> </d...原创 2019-08-29 14:41:14 · 241 阅读 · 2 评论 -
10操作flume测试监控
1.修改/root/app/flume/conf目录下的flume-env.sh配置: JAVA_OPTS="-Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=192.168.1.102:8649 -Xms100m -Xmx200m" 2.启动Flume任务 bin/flume-ng agent \ --conf conf/ \ -...原创 2019-08-29 14:30:09 · 184 阅读 · 0 评论 -
09Ganglia的安装和部署
1.安装httpd服务与php sudo yum -y install httpd php 2.安装其他依赖 sudo yum -y install rrdtool perl-rrdtool rrdtool-devel sudo yum -y install apr-devel 3.安装ganglia sudo rpm -Uvh http://dl.fedoraproject.org/pub/...原创 2019-08-29 14:28:30 · 110 阅读 · 0 评论 -
08案例-多数据源汇总
案例需求: hadoop103上的Flume-1监控文件/opt/module/group.log, hadoop102上的Flume-2监控某一个端口的数据流, Flume-1与Flume-2将数据发送给hadoop104上的Flume-3, Flume-3将最终数据打印到控制台。 实现步骤: 1.准备工作 分发Flume --- xsync flume 在node01,node02...原创 2019-08-29 13:54:18 · 231 阅读 · 0 评论 -
07案例-单数据源多出口-Sink组
案例需求: 使用Flume-1监控文件变动,Flume-1将变动内容传递给Flume-2, Flume-2负责存储到HDFS。同时Flume-1将变动内容传递给Flume-3, Flume-3也负责存储到HDFS。 实现步骤: 1.准备工作 在/root/appp/flume/job目录下创建group2文件夹 mkdir group2 cd group2/ 2.创建flume-n...原创 2019-08-29 13:52:29 · 190 阅读 · 0 评论 -
06案例-单数据源多出口-选择器
案例需求: 使用Flume-1监控文件变动,Flume-1将变动内容传递给Flume-2, Flume-2负责存储到HDFS。同时Flume-1将变动内容传递给Flume-3, Flume-3负责输出到Local FileSystem。 实现步骤: 1.准备工作 在/root/app/flume/job目录下创建group1文件夹 cd group1/ 在/root/app/datas...原创 2019-08-29 13:17:38 · 137 阅读 · 0 评论 -
05案例-实时读取目录文件
实时读取目录文件到HDFS案例 案例需求:使用flume监听整个目录的文件 实现步骤: 1.创建配置文件"flume-dir-hdfsconf" touch flume-dir-hdfs.conf vim flume-dir-hdfs.conf a3.sources = r3 a3.sinks = k3 a3.channels = c3 # Describe/configure...原创 2019-08-29 13:15:08 · 113 阅读 · 0 评论 -
04案例-实时读取本地文件
实时读取本地文件到HDFS案例 案例需求:实时监控Hive日志,并上传到HDFS中 实现步骤: 1.Flume想要将数据输出到HDFS,必须持有Hadoop相关jar包 将commons-configuration-1.6.jar、hadoop-auth-2.7.2.jar、hadoop-common-2.7.2.jar、 hadoop-hdfs-2.7.2.jar、commons-io-...原创 2019-08-29 13:13:05 · 357 阅读 · 0 评论 -
03案例-监控端口数据
案例需求: 首先Flume监控本机44444端口,然后通过telnet工具向本机 端口发送信息,最后Flume将监听的数据实时显示在控制台。 实现步骤: 1.安装telnet工具 sudo rpm -ivh xinetd-2.3.14-40.el6.x86_64.rpm sudo rpm -ivh telnet-0.17-48.el6.x86_64.rpm sudo rpm -ivh t...原创 2019-08-29 13:07:26 · 618 阅读 · 0 评论 -
02快速入门
一、Flume安装地址 1.flume官方地址 http://flume.apache.org/ 2.文档查看地址 http://flume.apache.org/FlumeUserGuide.html 3.下载地址 http://archive.apache.org/dist/flume/ 二、安装部署 1.上传 将"apache-flume-1.7.0-bin.tar.gz"...原创 2019-08-24 20:03:36 · 64 阅读 · 0 评论 -
最基本的flume配置
bin/flume-ng agent -n a4 -f myagent/a4.conf -c conf -Dflume.root.logger=INFO,console 定义agent名, source、channel、sink的名称 a4.sources = r1 a4.channels = c1 a4.sinks = k1 具体定义source a4.sources.r1.type = s...原创 2019-09-06 22:42:37 · 98 阅读 · 0 评论