![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式日志收集框架Flume
文章平均质量分 55
29DCH
In me the tiger sniffs the rose.
展开
-
分布式日志收集框架Flume简介及环境安装部署
最近在做一个基于Spark Streaming的实时流处理项目,之间用到了Flume来收集日志信息,所以在这里总结一下Flume的用法及原理.Flume是一个分布式、高可靠、高可用、负载均衡的进行大量日志数据采集、聚合和并转移到存储中的框架, 基于流式架构,容错性强,也很灵活简单,主要用于在线实时的引用分析,只能在Unix环境下运行,底层源码由Java实现.Flume目前常见的应用场景:日志—...原创 2018-10-15 21:11:13 · 341 阅读 · 0 评论 -
Flume应用案例之从指定网络端口采集数据输出到控制台
紧接我的上一篇博客 分布式日志收集框架Flume环境安装部署这里开始实践,讲一下flume的应用案例1.从指定网络端口采集数据输出到控制台还是先参考一下万能的官网https://flume.apache.org/FlumeUserGuide.htmla1:agent名称r1:数据源的名称k1:sink的名称c1:channel的名称example.conf#Name the c...原创 2018-10-16 14:44:12 · 464 阅读 · 0 评论 -
Flume应用案例之监控一个文件实时采集新增的数据输出到控制台
紧接我的前两篇博客讲下来分布式日志收集框架Flume环境安装部署Flume应用案例之从指定网络端口采集数据输出到控制台阅读这篇博客如有问题,可以先参考阅读我的这两篇博客相关内容Agent选型:exec source + memory channel + logger sink在conf目录下创建exec-memory-logger.conf文件 vi exec-memory-logge...原创 2018-10-16 15:40:24 · 948 阅读 · 0 评论 -
Flume应用案例之两台服务器之间进行实时数据采集
紧接我的上一篇博客 Flume应用案例之监控一个文件实时采集新增的数据输出到控制台虚拟机啥的我先不搭了,就在一台服务器上演示技术选型:exec source + memory channel + avro sinkavro source + memory channel + logger sink所以需要两个配置文件:在conf目录下创建exec-memory-avro.conf和av...原创 2018-10-16 19:28:57 · 745 阅读 · 0 评论 -
整合Flume和Kafka完成实时数据采集
结合我的这三篇博客 Flume应用案例之两台服务器之间进行实时数据采集和分布式消息队列Kafka简介及环境安装部署Flume应用案例之监控一个文件实时采集新增的数据输出到控制台把avro-memory-logger.conf改成avro-memory-kafka.conf内容如下:avro-memory-kafka.sources = avro-sourceavro-memory-ka...原创 2018-10-19 15:37:28 · 483 阅读 · 0 评论 -
Spark Streaming整合Flume的两种方式
构建Maven项目,在pom.xml文件中加入如下依赖:Push方式整合<!-- Spark Streaming 依赖--> <dependency> <groupId>org.apache.spark&lt原创 2018-11-30 20:17:43 · 227 阅读 · 0 评论 -
java日志产生器开发并结合log4j完成日志输出到控制台以及flume中
首先搭建一个maven项目,在项目的test测试文件夹下面新建一个java文件夹和resources文件夹,并标记化然后在java文件夹下面新建LoggerGenerator.java文件import java.util.logging.Logger;/** * 模拟日志产生 */public class LoggerGenerator { private static ...原创 2018-12-03 21:45:50 · 490 阅读 · 0 评论