![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
啊策策
通吃java, 大数据.
展开
-
Flume入门 01
1. Flume的基本介绍 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件,socket数据包、文件、文件夹、kafka等各种形式源数据,又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部存储系统中 一般的采集需求,通过对flume的简单配置即可实现 Flume针对特殊场景也具备良好的自定义扩展能力, ...原创 2019-03-25 19:39:41 · 182 阅读 · 0 评论 -
Flume实战案例 02
1. Flume的安装部署 1.1 需求 案例:使用网络telent命令向一台机器发送一些网络数据,然后通过flume采集网络端口数据。 1.2 分析 1.3 实现 下载安装包,解压,修改配置文件 Flume的安装非常简单,只需要解压即可,当然,前提是已有hadoop环境 上传安装包到数据源所在节点上 tar -zxvf flume-ng-1.6.0-cdh5.14.0.tar.gz -C...原创 2019-03-26 09:20:09 · 290 阅读 · 0 评论 -
Flume高可用,Flume负载均衡 03
1. 高可用Flume-NG配置案例failover 1.1 需求 在完成单点的Flume NG搭建后,下面我们搭建一个高可用的Flume NG集。 1.2 分析 1.3 实现 1.3.1 node01安装配置flume与拷贝文件脚本 将node03机器上面的flume安装包以及文件生产的两个目录拷贝到node01机器上面去 node03机器执行以下命令 cd /export/serv...原创 2019-03-26 19:29:34 · 1866 阅读 · 1 评论