![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
韩利鹏
大数据处理-java高级工程师
展开
-
flume-ng的简单使用
首先说下怎么安装吧,flume-ng的安装,flume-ng安装特别简单 1:首先下载安装包 解压,然后进入到conf目录下,首先把flume-env.sh.template文件修改名字为flume-env.sh,然后修改flume-env.sh里面的JAVA_HOME的地址,2:测试 bin/flume-ng version 如果能出现版本信息就说明安装成功了,接下来就可以使用了使用的时候主要原创 2016-11-22 20:48:40 · 2615 阅读 · 1 评论 -
flume自定义sink
java文件:package com.dle;import java.io.File;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import org.apache.flume.Channel;import org.apache.flume.Co原创 2016-11-23 22:16:17 · 823 阅读 · 0 评论 -
flume_kafka联合使用
在大数据的使用中常常将flume和kafka联合起来使用,实用的时候主要是一个配置的文件信息 配置文件信息如下#agent sectionproducer.sources = sproducer.channels = cproducer.sinks = r#source section#producer.sources.s.type = seqproducer.sources.s.typ原创 2016-11-24 22:22:12 · 1323 阅读 · 0 评论 -
flume通过公网ip采集到hdfs上
需求描述: 公司的服务器在不同的地市都有分布,需要把不同地方的服务器的日志文件都收集到公司的内网hadoop集群中,来进行分析,(公司的hadoop集群和其他地方的集群不在同一内网中,需要借助公网来进行传输) 简单的模型图如下 失败案例: 直接把公网IP放在了hadoop集群的nn(namenode上面),模型如下: 然后启动flume往hdfs上面传输日志文件,发现flume端一直抛原创 2017-10-09 13:36:52 · 1727 阅读 · 2 评论