flume basic
hao难懂
这个作者很懒,什么都没留下…
展开
-
01Flume概述
一、Flume定义Flume是Cloudera提供的一个高可用的、高可靠的,分布式的海量日志采集、聚合和传输的系统。 Flume基于流式架构,灵活简单。Flume最主要的作用就是,实时读取服务器本地磁盘的数据,将数据写入HDFS中。二、Flume组成架构1.Agent Agent是一个JVM进程,它以事件的形式将数据从源头送至目的, 是Flume数据传输的基本单元。其主要有...原创 2019-08-24 20:02:45 · 95 阅读 · 0 评论 -
12测试
1.Jar包准备将MySql驱动包放入Flume的lib目录下 cp \ /root/sorfware/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar \ /root/app/flume/lib/ 打包项目并将Jar包放入Flume的lib目录下2.配置文件准备touch mys...原创 2019-08-29 15:02:56 · 294 阅读 · 0 评论 -
11自定义MySQLSource
1.导入Pom依赖<dependencies> <dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <version>1.7.0</version> </d...原创 2019-08-29 14:41:14 · 253 阅读 · 2 评论 -
10操作flume测试监控
1.修改/root/app/flume/conf目录下的flume-env.sh配置:JAVA_OPTS="-Dflume.monitoring.type=ganglia-Dflume.monitoring.hosts=192.168.1.102:8649-Xms100m-Xmx200m"2.启动Flume任务bin/flume-ng agent \--conf conf/ \-...原创 2019-08-29 14:30:09 · 191 阅读 · 0 评论 -
09Ganglia的安装和部署
1.安装httpd服务与phpsudo yum -y install httpd php2.安装其他依赖sudo yum -y install rrdtool perl-rrdtool rrdtool-develsudo yum -y install apr-devel3.安装gangliasudo rpm -Uvh http://dl.fedoraproject.org/pub/...原创 2019-08-29 14:28:30 · 122 阅读 · 0 评论 -
08案例-多数据源汇总
案例需求:hadoop103上的Flume-1监控文件/opt/module/group.log,hadoop102上的Flume-2监控某一个端口的数据流,Flume-1与Flume-2将数据发送给hadoop104上的Flume-3,Flume-3将最终数据打印到控制台。实现步骤:1.准备工作 分发Flume --- xsync flume 在node01,node02...原创 2019-08-29 13:54:18 · 245 阅读 · 0 评论 -
07案例-单数据源多出口-Sink组
案例需求:使用Flume-1监控文件变动,Flume-1将变动内容传递给Flume-2,Flume-2负责存储到HDFS。同时Flume-1将变动内容传递给Flume-3,Flume-3也负责存储到HDFS。实现步骤:1.准备工作 在/root/appp/flume/job目录下创建group2文件夹 mkdir group2 cd group2/2.创建flume-n...原创 2019-08-29 13:52:29 · 201 阅读 · 0 评论 -
06案例-单数据源多出口-选择器
案例需求:使用Flume-1监控文件变动,Flume-1将变动内容传递给Flume-2,Flume-2负责存储到HDFS。同时Flume-1将变动内容传递给Flume-3,Flume-3负责输出到Local FileSystem。实现步骤:1.准备工作 在/root/app/flume/job目录下创建group1文件夹 cd group1/ 在/root/app/datas...原创 2019-08-29 13:17:38 · 145 阅读 · 0 评论 -
05案例-实时读取目录文件
实时读取目录文件到HDFS案例案例需求:使用flume监听整个目录的文件实现步骤:1.创建配置文件"flume-dir-hdfsconf"touch flume-dir-hdfs.confvim flume-dir-hdfs.conf a3.sources = r3 a3.sinks = k3 a3.channels = c3 # Describe/configure...原创 2019-08-29 13:15:08 · 120 阅读 · 0 评论 -
04案例-实时读取本地文件
实时读取本地文件到HDFS案例案例需求:实时监控Hive日志,并上传到HDFS中实现步骤:1.Flume想要将数据输出到HDFS,必须持有Hadoop相关jar包将commons-configuration-1.6.jar、hadoop-auth-2.7.2.jar、hadoop-common-2.7.2.jar、hadoop-hdfs-2.7.2.jar、commons-io-...原创 2019-08-29 13:13:05 · 367 阅读 · 0 评论 -
03案例-监控端口数据
案例需求:首先Flume监控本机44444端口,然后通过telnet工具向本机端口发送信息,最后Flume将监听的数据实时显示在控制台。实现步骤:1.安装telnet工具 sudo rpm -ivh xinetd-2.3.14-40.el6.x86_64.rpm sudo rpm -ivh telnet-0.17-48.el6.x86_64.rpm sudo rpm -ivh t...原创 2019-08-29 13:07:26 · 625 阅读 · 0 评论 -
02快速入门
一、Flume安装地址1.flume官方地址 http://flume.apache.org/ 2.文档查看地址 http://flume.apache.org/FlumeUserGuide.html 3.下载地址 http://archive.apache.org/dist/flume/二、安装部署1.上传 将"apache-flume-1.7.0-bin.tar.gz"...原创 2019-08-24 20:03:36 · 69 阅读 · 0 评论 -
最基本的flume配置
bin/flume-ng agent -n a4 -f myagent/a4.conf -c conf -Dflume.root.logger=INFO,console定义agent名, source、channel、sink的名称a4.sources = r1a4.channels = c1a4.sinks = k1具体定义sourcea4.sources.r1.type = s...原创 2019-09-06 22:42:37 · 108 阅读 · 0 评论