Flume
沐雨金鳞
大行不顾细谨
展开
-
Flume内存溢出问题及解决方案
我们使用Flume进行日志收集的时候,经常会遇到org.apache.flume.ChannelFullException的问题问题原因:channel c1的内存不足 sinks的熟读跟不上source的速度,buffer的大小太紧张了解决:1、从channel参数入手agent.channels.memoryChanne3.keep-alive = 60 agent.channels.memoryChanne3.capacity = 1000000参数 说明 ca原创 2020-09-19 16:48:28 · 2630 阅读 · 1 评论 -
flume+kafka实现实时信息获取
本篇是接上一篇而来的:log4j日志传送至flume至kafka显示输出1、Testlog类信息:package com.bupt.realcaldemo.test;import org.apache.log4j.Logger;public class Testlog { protected static final Logger LOG=Logger.getLogger(Testlog.class); public static void main(Strin.原创 2020-09-19 16:20:02 · 416 阅读 · 0 评论 -
log4j日志传送至flume至kafka显示输出
妈耶,一个简简单单的功能,废了我大半天功夫,反思了一下原因,1是自己之前学的东西记不清了,各种配置搞的很晕,看了半天,2是网上的教程实在不堪入目,跟着走让人云里雾里,费半天功夫出不来结果。仅此,详细告诉大家流程及结果演示。一、安装kafka 和 flume(mac的,如果是其他的,请从网上自己找一下)MAC安装Kafka安装kafka时会默认安装zookeeperMAC安装Flume二、启动zookeepernohup zookeeper-server-start /usr..原创 2020-09-19 15:59:30 · 452 阅读 · 1 评论 -
Flume虞兮叹一(为什么要把kafka和flume集成)
为什么要集成Flume和Kafka我们很多人在在使用Flume和kafka时,都会问一句为什么要将Flume和Kafka集成?那首先就应该明白业务需求,一般使用Flume+Kafka架构都是希望完成实时流式的日志处理,后面再连接上Flink/Storm/Spark Streaming等流式实时处理技术,从而完成日志实时解析的目标。1. 生产环境中,往往是读取日志进行分析,而这往往是多数据源的,如果Kafka构建多个生产者使用文件流的方式向主题写入数据再供消费者消费的话,无疑非常的不方便。 2.原创 2020-09-17 08:56:15 · 682 阅读 · 2 评论 -
MAC安装Flume
1. 安装brew install flume2. 配置环境变量export FLUME_HOME=/usr/local/Cellar/flume/1.9.0_1/libexecexport FLUME_CONF_DIR=$FLUME_HOME/confexport PATH=$FLUME_HOME/bin:$PATH使配置文件生效:vi ~/.bash_profile3. 配置flume-env.shcd /usr/local/Cellar/...原创 2020-09-16 19:18:51 · 536 阅读 · 0 评论 -
Flume详解
1、为什么选用Flume?(快、实时处理、不同介质的读取速度不一致,影响数据传输)2、Flume组成架构(主要在Agent:source、channel、sink)3、Flume Agent内部原理4、案例监听数据端口案例分析实时读取本地文件到HDFS案例实时读取目录文件到HDFS案例单数据源多出口案例5、其他Flume是Apache的顶级项目 重构后的版本统称为 Flume NG Flume...原创 2020-06-25 09:01:26 · 465 阅读 · 0 评论