flume
文章平均质量分 84
小财迷,嘻嘻
这个作者很懒,什么都没留下…
展开
-
Flume安装及使用
目录1、Flume安装2、演示示例2.1 netcat source2.2 exec source2.3 spooldir source2.4 http source2.5 taildir source2.6 avro sink and source2.7 HDFS sink3、练习练习1官网: http://flume.apache.org/1、Flume安装1.上传安装包2.解压tar zxvf /opt/software/apache-flume-1.8.0-bin.tar.gz -C /o原创 2021-01-15 14:52:59 · 365 阅读 · 0 评论 -
Linux下Flume的安装
目录1、前置条件2、安装步骤2.1 下载并安装2.2 配置环境变量2.3 修改配置2.4 验证3、安装NetCat服务器、telnet客户端4、测试安装1、前置条件Flume 需要依赖 JDK 1.8+,Linux环境下JDK安装2、安装步骤2.1 下载并安装下载所需版本的Flume,本文选择版本:flume-ng-1.6.0-cdh5.14.0.tar.gz下载地址:http://archive.cloudera.com/cdh5/cdh/5/在根目录下新建目录:mkdir /softw原创 2020-11-30 22:21:55 · 817 阅读 · 0 评论 -
Flume+Kafka+Kafka Stream
目录1、Flume–>Kafka TopicA1.1 启动Zookeeper和Kafka1.2 创建主题1.3 配置Flume1.4 启动Flume1.5 测试2、TopicA–>TopicB2.1 编写代码2.2 启动消费者监控TopicBFlume采集数据到Kafka的TopicA,再使用Kafka Stream将TopicA的数据进行某些逻辑处理后再写入TopicB。案例一:现有一张表user_friends,表结构如下,去掉表头,使用flume将内容写进Kafka的TopicA,将第原创 2020-12-23 19:51:38 · 355 阅读 · 1 评论 -
Flume整合Kafka
目录1、背景2、整合流程2.1 启动Zookeeper和Kafka2.2 创建主题2.3 启动Kafka消费者2.4 配置Flume2.5 启动Flume2.6 测试1、背景为什么要使用Flume + Kafka ?以实时流处理项目为例,由于采集的数据量可能存在峰值和峰谷,假设是一个电商项目,那么峰值通常出现在秒杀时,这时如果直接将 Flume 聚合后的数据输入到 Storm 等分布式计算框架中,可能就会超过集群的处理能力,这时采用 Kafka 就可以起到削峰的作用。Kafka 天生为大数据场景而设计原创 2020-12-16 19:37:17 · 623 阅读 · 0 评论 -
Flume简介及基本运用(含案例)
目录1、背景2、Flume简介3、Flume架构和基本概念3.1 基本架构3.2 基本概念3.3 组件种类4、Flume架构模式4.1 单一流程4.2 多代理流程(多个agent顺序连接)4.3 流的合并(多个Agent的数据汇聚到同一个Agent )4.4 多路复用流(多级流)4.5 load balance功能5、Flume配置格式6、Flume使用案例6.1 案例一1、背景2、Flume简介Flume是日志收集框架,详细来说:Flume是一个分布式、可靠、高可用的海量日志聚合系统,支持在系统中原创 2020-12-10 23:47:13 · 670 阅读 · 0 评论