【大数据之路7】数据采集工具 Flume 的使用

Apache Flume 是一个用于大规模日志聚合的可靠系统,常用于数据采集。它包括 Source、Channel 和 Sink 三大核心组件,支持从多种数据源采集数据并传输到目标位置,如 HDFS。本文介绍了 Flume 的背景、架构、组件、经典部署方案以及面试相关知识点,通过案例展示了监控端口数据、监控目录中的文件到 HDFS 等操作。
摘要由CSDN通过智能技术生成

1. 数据采集工具产生背景

Hadoop 的一般整体开发流程:

任何完整的大数据平台,一般都会包括以下的基本处理过程:

  • 数据采集(必不可少):
    • 数据源多种多样
    • 数据量大,变化快
    • 如何保证数据采集的可靠性的性能
    • 如何避免重复数据
    • 如何保证数据质量
  • 数据 ETL
  • 数据存储
  • 数据计算/分析
  • 数据展现

数据源⼤体上包括:

  • 业务数据
  • 爬取的⽹络公开数据
  • 购买数据
  • ⾃定采集⽇志数据

2. Flume 简介

Apache Flume 是一个分布式的、可靠、高可用的海量日志采集、聚合和传输的系统,支持在系统中定制各类的数据发送方,用于采集数据,同时 Flume 提供对数据的简单处理,并写到各种数据接收方的能力。Flume 和 Sqoop 同属于数据采

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员老五

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值