flume
废物点心777
这个作者很懒,什么都没留下…
展开
-
【flume】flume 的 负载均衡 load-balance、容错 failover
文章目录前言load-balance负载均衡介绍配置Failover 容错介绍配置 前言 之前的conf主要是单机的flume部署操作,这篇讲下集群的flume部署操作,可以先看前两篇。 集群 load-balance负载均衡 介绍 负载均衡是用于解决一台机器(一个进程)无法解决所有请求而产生的一种算法。 Load balancing Sink Processor 能够实现 load balanc...原创 2020-04-13 17:23:15 · 362 阅读 · 0 评论 -
【flume】flume简介 及 模拟数据采集文件到HDFS
文章目录前言一、概述二、运行机制三、Flume采集系统结构图简单结构复杂结构四、采集文件到HDFS 前言 在之前的一篇里面已经写了flume的单机部署以及两个采集,一个是监听日志端口,一个是采集目录到HDFS。这篇主要是对flume进行简介 和采集文件到HDFS 一、概述 Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的软件。 Flume 的核心是...原创 2020-04-13 16:52:13 · 482 阅读 · 0 评论 -
【flume】flume的部署及案例
一、部署flume flume的安装非常简单 1、上传安装包到数据源所在的节点上 2、解压安装包到数据源所在的节点上 然后 tar -zxvf apache-flume-1.6.0-bin.tar.gz 3、然后进入flume目录里面的conf,修改conf下的flume-env.sh,在里面配置JAVA_HOME export JAVA_HOME=/export/servers/jdk1....原创 2020-03-05 17:52:37 · 335 阅读 · 0 评论