使用Apache Flume抓取数据（1）

最新推荐文章于 2024-07-18 21:37:27 发布
置顶 最新推荐文章于 2024-07-18 21:37:27 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： Hadoop 文章标签： Hadoop flume 大数据 数据采集 大数据时代
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jishuxiaozi/article/details/54599585
版权
Apache Flume是一个用于数据采集的高性能系统，最初由Cloudera开发，现为Apache顶级项目。它包含Source、Sink和Channel组件，提供可靠性、扩展性和延展性。Source接收外部数据，Sink将其发送至目的地，Channel作为缓冲存储。Flume通过事务性传输和多Agent配置确保数据可靠性，并可通过添加更多资源扩展性能。常见的数据源包括files、syslog等，常用于将数据聚合到HDFS。
摘要由CSDN通过智能技术生成


使用Apache Flume抓取数据，怎么来抓取呢？不过，在了解这个问题之前，我们必须明确ApacheFlume是什么？

一、什么是Apache Flume

Apache Flume是用于数据采集的高性能系统 ，名字来源于原始的近乎实时的日志数据采集工具，现在广泛用于任何流事件数据的采集，支持从很多数据源聚合数据到HDFS。

最初由Cloudera开发 ，在2011年贡献给了Apache基金会 ，在2012年变成了Apache的顶级项目，Flume OG升级换代成了Flume NG。

Flume具有横向扩展、延展性、可靠性的优势

二、Flume 体系结构

Source：接受外部系统生成event

Sink：发送event到指定的目的地

Channel：从Source缓存event，直到Sink把event取走

Agen

最低0.47元/天 解锁文章
jishuxiaozi
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flume包，用于数据的采集
01-12
flume的包。flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。Client：Client生产数据，运行在一个独立的线程。    　Event： 一个数据单元，消息头和消息体组成。（Events可以是日志记录、 avro 对象等。） 　　Flow： Event从源点到达目的点的迁移的抽象。 　　Agent： 一个独立的Flume进程，包含组件Source、 Channel、 Sink。（Agent使用JVM 运行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks。） 　　Source： 数据收集组件。（source从Client收集数据，传递给Channel） 　　Channel： 中转Event的一个临时存储，保存由Source组件传递过来的Event。（Channel连接 sources 和 sinks ，这个有点像一个队列。） 　　Sink： 从Channel中读取并移除Event， 将Event传递到FlowPipeline中的下一个Agent（如果有的话）（Sink从Channel收集数据，运行在一个独立线程。）
Apache-flume-1.7.0-bin.tar.gz
08-11
例如，你可以配置 Flume Source 来从 Twitter 流中抓取实时数据，或者从本地服务器的日志文件中读取数据。 2. **Channel（通道）**：Channel 在 Flume 中起到了缓冲区的作用，它存储从 Source 收集到的数据，直到...
数据采集工具——Flume
☆Silence♂
11-23 2200
文章内容输出来源：拉勾教育大数据高薪训练营 第一部分 Flume概述 无论数据来自什么企业，或是多大量级，通过部署Flume，可以确保数据都安全、及时地到达大数据平台，用户可以将精力集中在如何洞悉数据上。 第 1 节 Flume的定义 Flume由Cloudera公司开发，是一个分布式、高可靠、高可用的海量日志采集、聚合、传输的系统。 Flume支持在日志系统中定制各类数据发送方，用于采集数据; Flume提供对数据进行简单处理，并写到各种数据接收方的能力。 简单的说，Flume是实时采集.
大数据采集工具——Flume简介&安装配置&使用教程
最新发布
qq_73339471的博客
07-18 1642
Flume 是一个的，主要用于将大量的数据从（如日志文件、数据库、本地磁盘等）采集到（主要为）中，用来处理日志数据，并支持在数据流中可靠、高效地移动数据。
Flume 数据采集
liuwei0376的专栏
07-12 3705
（1）在/home/bigdata_admin/bin目录下创建脚本xcall.sh[bigdata_admin@hadoop102 bin]$ vim xcall.sh（2）在脚本中编写如下内容 （3）修改脚本执行权限[bigdata_admin@hadoop102 bin]$ chmod 777 xcall.sh（4）启动脚本[bigdata_admin@hadoop102 bin]$ xcall.sh jps1）安装步骤略2）项目经验（1）项目经验之HDFS存储多目录虚拟机的项目不需要配置，我们只
Flume采集数据
qq_39557465的博客
03-15 432
本篇文章编写了flume采集埋点行为数据上传到hdfs并映射为hive表的全过程
flume数据采集_Flume概述
weixin_39935092的博客
11-30 322
1、 什么是flumeflume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便利性得到很大的改善，现已成为apache top项目之一.Apache Flume 是一个...
flume抓取oracle数据所需jar包
07-14
总结来说，要使用 Flume 从 Oracle 数据库抓取数据，你需要准备 Oracle JDBC 驱动（ojdbc.jar），正确配置 Flume 的 JDBC Source、Channel 和 Sink，确保 Flume 可以访问到这个驱动，并设置正确的数据库连接参数和 ...
天气爬虫采集，kafka实时分发，flume 收集数据导入到 Hbase.zip
01-04
通过编写特定的爬虫程序，可以从公开的气象网站或API中抓取实时或历史的天气数据。这通常涉及网络请求、HTML解析、JSON解析等技术，确保数据准确无误地被提取并存储。 接着，数据被送入"Kafka实时分发"环节。Apache...
大数据采集技术期末试卷及答案（仅供参考）
12-14
此外，Flume使用Java编写，可以与其他Apache项目如Hadoop、Spark等集成，实现大数据生态系统内的数据流动。通过Flume的级联，可以构建复杂的数据流处理链路，提高数据处理的灵活性和可靠性。同时，Flume的高可用性...
flume课件.rar
02-19
Flume 是 Apache Hadoop 生态系统中的一个分布式、可靠且可用的服务，主要用于高效地收集、聚合和移动大量日志数据。它具有简单、灵活和容错性强的特点，使得它成为大数据环境中数据集成的理想选择。在大数据开发...
flume数据采集工具
m0_52106226的博客
01-10 410
业务系统就是客户端加上后台的服务 Source,channel,Event flime运行起来的进程叫agentflume采集系统就是由一个个agent连接起来所形成的一个或简单或复杂的数据传输通道每一个agent都有3个组件Source,channel,sink Source就相当于read(读数据) Channel就相当于缓存数据(为了解耦合) Sink就相当于write(写数据) Event event是数据 在channel中的封装形式 因此,Source组件在获取到原始数据后,需要封装成ev
【大数据实战】flume 数据采集
一片冰心
04-07 5297
目录flume快速开始概述系统要求数据流模型安装一个简单的例子采集源目录源执行源Kafka源NetCat TCP 源avro source接收器logger sinkavro sinkHDFS 接收器弹性搜索接收器多层代理实战采集目录文件到HDFS flume 快速开始 概述 Apache Flume 是一个分布式、可靠且可用的系统，用于有效地收集、聚合来自许多不同来源的大量日志数据并将其移动到集中式数据存储。 Apache Flume 的使用不仅限于日志数据聚合。由于数据源是可定制的，Flume 可用于传
Flume 数据采集组件
热门推荐
夜雨寒霜
01-04 1万+
目录 1、数据收集工具/系统产生背景 2、专业的数据收集工具 2.1、Chukwa 2.2、Scribe 2.3、Fluentd 2.4、Logstash 2.5、Apache Flume 3、Flume概述 3.1、Flume概念 3.2、Flume版本介绍 3.3、Flume数据源和输出方式 4、Flume体系结构/核心组件 4.1、概述 4.2、Flume三大核心...
大数据之flume数据采集
大数据同盟会的博客
08-22 1万+
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 它可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中。 一、flume结构 Flume分布式系统中最核心的角色是agent，每一个agent相当于一个数据传递员，内部有三个组件： Source：：采集源，用于跟数据源对接，以获取数据 Sink：：下沉地，采集数据的传送目的，用于往下一级agent传递数据或者往最终存储系统传递数据 Channel
浅析数据采集工具Flume
luoyepiaoxue2014的博客
11-27 1132
Flume 是一个分布式、可靠、高可用的海量日志聚合系统，支持在系统中定制各类数据发送方，用于收集数据，同时，Flume 提供对数据的简单处理，并写到各种数据接收方的能力。
数据采集篇：大数据技术之Flume
ItStar
02-15 578
一、Flume简介1) Flume提供一个分布式的，可靠的，对大数据量的日志进行高效收集、聚集、移动的服务，Flume只能在Unix环境下运行。2)Flume基于流式架...
实时数据流采集工具Flume
浅谈
06-22 6265
Flume是一个实时数据流采集框架，是一种分布式的、高可用的服务，可以有效的收集、聚合和移动大量的日志数据。将数据源的数据变成数据流，将数据采集到目标位置中。本质上就是一个数据迁移的过程。官网文档地址。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值