![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
薇安娜
这个作者很懒,什么都没留下…
展开
-
Flume学习笔记(三)Flume 内部机制
Flume学习笔记(三)Flume 内部机制前言 本篇是 Flume 学习笔记的第三篇,主要整理 Flume 的事务机制以及 Event 如何在 Agent 中流转的整个过程。Flume 事务机制 为了保证数据的不丢失,Flume 框架在 Agent 进程中加入了俩个事物机制,分布为 Source --> Channel 和 Channel --> Sink,示意图如下:Put 事务上图中 Source 将数据推送至 Channel 的过程即 Put 事务,其分为三个阶段原创 2020-08-09 14:20:18 · 264 阅读 · 0 评论 -
Flume学习笔记(二)Flume 常用组件
Flume学习笔记(二)Flume 常用组件前言 上一篇介绍了 Flume 整体的组成架构,这一篇来整理一下一些较为常用的 Source,Sink,ChannelSource网络流 Source Flume 可以通过监听特定的端口来获取数据,以下三个是较为常用的网络流 SrouceAvro SourceAvro Source 监听指定端口,通过 RPC 的方式来获取数据,Avro 本身在大批量的数据传输过程中有良好的表现。在实际应用中可以使用 Avro Source 和 Avro Si原创 2020-08-08 14:47:04 · 194 阅读 · 0 评论 -
Flume学习笔记(一)Flume 组成架构
Flume学习笔记(一)Flume 组成架构前言 本文主要记录我在学习 Flume 过程中的一些知识的整理与记录,预计会做成一个系列来梳理一下 Flume 中的知识,本篇的主要内容为 Flume 的组成架构,文中如有疏漏与不足欢迎指正!一、Flume 是什么 Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构,灵活简单。其可以不断的监听数据源来将新产生的数据搬迁至目标,如将新产生的log 日志数据写入 HDFS。二、原创 2020-08-08 11:06:04 · 2733 阅读 · 0 评论 -
Linux 下 Flume 安装
Flume 安装前言 Flume最早是Cloudera提供的日志收集系统,现在为 Apache 基金会下的项目,Flume 提供了海量日志的采集、聚合和传输,本文将介绍 Flume 的安装。 环境信息 操作系统:Centos 7.7 JDK 版本: 1.8 (JDK 的安装方法可以参考这篇文章 JDK 安装) 工具: Xshell, Xftp下载与安装在 Flume 官网下载 Flume : http://flume.apache.org/download.html下载原创 2020-08-05 22:01:18 · 997 阅读 · 0 评论