![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
小米吃辣椒2022
本人毕业于湖北工业大学,目前已有7年的工作经验,先后涉猎于电商,农业大数据,智慧停车,城市智慧大脑,公安指挥调度,海康云商电商平台,智慧物流等软件开发行业,目前就职于稳健医疗java全栈工程师岗位,负责智慧物流产品百台服务器核心架构设计及研发工作,对多线程,高并发,架构设计,应用虚拟容器,微服务,数据库中间件,消息中间件以及大数据生态圈,web前端技术有丰富的认知和开发经验。
展开
-
spark streaming 整合 flume两种方式 push 和 pull
一、push 方式 :spark streaming 整合 flume 配置开发 cd $FLUME_HOME cd conf 编写 flume配置文件, vim flume_push_streaming.conf simple-agent.sources = netcat-source simple-agent.sinks = avro-sink simple-age...原创 2019-01-03 15:22:45 · 1251 阅读 · 0 评论 -
大数据之 Flume 日志收集框架入门
Flume 日志收集框架入门 一、 flume 简介 Apache Flume是一个分布式,可靠且可用的系统,用于有效地从许多不同的源收集,聚合和移动大量日志数据到集中式数据存储。 Apache Flume的使用不仅限于日志数据聚合。由于数据源是可定制的,因此Flume可用于传输大量事件数据,包括但...原创 2018-12-26 11:22:47 · 1197 阅读 · 0 评论 -
spark streaming 整合flume ,kafka 打造通用流处理
一、编写LoggerGenerator.java文件用于生成日志信息 添加依赖 <dependency> <groupId>org.apache.flume.flume-ng-clients</groupId> <artifactId>flume-ng-log4jappender&...原创 2019-01-14 21:25:38 · 1359 阅读 · 0 评论