Flume
yljphp
一个单纯的Phper
展开
-
Flume 案例实操 - 实时读取本地文件到HDFS
实时监控日志文件,并上传到HDFS中。需求分析创建负责条件的flume配置文件启动flume,应用配置文件,开启监控模拟日志产生,日志文件/opt/module/datas/flume_tmp.log查看HDFS上的数据实现步骤拷贝相关Hadoop 包到 Flume lib 目录Flume要想将数据输出到HDFS,必须持有Hadoop相关jar包。将如下包拷贝到/opt/mo...原创 2019-05-19 10:27:00 · 28862 阅读 · 0 评论 -
Flume 安装
官方网站:http://flume.apache.org/用户文档:http://flume.apache.org/FlumeUserGuide.html开发文档:http://flume.apache.org/FlumeDeveloperGuide.html安装部署1 将apache-flume-1.7.0-bin.tar.gz上传到linux的/opt/software目录下2 解压...原创 2019-05-18 12:19:45 · 24558 阅读 · 0 评论 -
Flume 概述
Flume 概念Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单,主要用于将流数据(日志数据)从各种Web服务器复制到HDFS。Flume 组成架构Agent一个 代理 是一个独立的守护进程(JVM)在Flume。它从客户端或其他代理接收数据(事件),并将其转发到下一个目标(接收器或代理)。Agen...原创 2019-05-18 12:15:11 · 24897 阅读 · 0 评论 -
Flume 监控之测试 Ganglia
配置修改修改/opt/module/flume-1.7.0/conf目录下的flume-env.sh配置JAVA_OPTS="-Dflume.monitoring.type=ganglia-Dflume.monitoring.hosts=192.168.9.102:8649-Xms100m-Xmx200m"启动flume任务bin/flume-ng agent \--conf ...原创 2019-05-19 21:06:39 · 24660 阅读 · 0 评论 -
Flume 监控之 Ganglia 的安装与部署
安装httpd服务与phpsudo yum -y install httpd php安装其他依赖sudo yum -y install rrdtool perl-rrdtool rrdtool-develsudo yum -y install apr-devel安装gangliasudo rpm -Uvh http://dl.fedoraproject.org/pub/epel/6...原创 2019-05-19 20:55:57 · 25416 阅读 · 0 评论 -
Flume 案例实操 - 多数据源汇总案例
需求分析hadoop103上的flume-1监控文件/opt/module/datas/flume_tmp.loghadoop104上的flume-2监控某一个端口的数据流flume-1与flume-2将数据发送给hadoop102上的flume-3,flume-3将最终数据打印到控制台实现步骤准备工作分发flumexsync flume在hadoop102、hadoop...原创 2019-05-19 20:41:50 · 25168 阅读 · 1 评论 -
Flume 案例实操 - 单数据源多出口案例(二)
单Source、Channel多Sink(负载均衡)需求分析使用flume-1监控文件变动flume-1将变动内容传递给flume-2,flume-2负责输出到控制台flume-1将变动内容传递给flume-3,flume-3负责输出到控制台实现步骤准备工作在/opt/module/flume-1.7.0/job目录下创建group2文件夹mkdir group2cd g...原创 2019-05-19 17:52:47 · 24442 阅读 · 0 评论 -
Flume 案例实操 - 单数据源多出口案例(一)
拓扑结构案例需求使用flume-1监控文件变动,flume-1将变动内容传递给flume-2,flume-2负责存储到HDFSflume-1将变动内容传递给flume-3,flume-3负责输出到local filesystem。实现步骤创建配置文件准备工作在/opt/module/flume-1.7.0/job目录下创建group1文件夹mkdir group1cd ...原创 2019-05-19 14:40:22 · 24893 阅读 · 0 评论 -
Flume 案例实操 - 实时读取目录文件到HDFS
使用flume监听整个目录的文件需求分析创建符合条件的flume配置文件执行配置文件,开启监控向目录中添加文件,被监控的目录/opt/module/flume/upload查看HDFS上数据查看/opt/module/flume/upload目录中上传的文件是否已经标记为.COMPLETED结尾;.tmp后缀结尾文件没有上传。实现步骤创建配置文件创建配置文件flume-dir...原创 2019-05-19 12:42:34 · 26016 阅读 · 1 评论 -
Flume 案例实操 - 监控端口数据
需求分析首先,Flume监控本机44444端口,然后通过telnet工具向本机44444端口发送消息,最后Flume将监听的数据实时显示在控制台。Flume监控本机的44444端口,通过Flume的souce端读取数据通过telnet工具向本机的44444端口发送数据Flume将获取到的数据通过sink端输出到控制台具体实现安装telnet工具将rpm软件包(xinetd-2.3...原创 2019-05-18 13:25:33 · 25366 阅读 · 0 评论