【大数据入门核心技术-Flume】（一）Flume简介

最新推荐文章于 2024-09-09 23:37:39 发布
最新推荐文章于 2024-09-09 23:37:39 发布
阅读量502 收藏 2
点赞数 2
分类专栏： 大数据技术入门到21天通关 文章标签： 大数据 flume hdfs hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/forest_long/article/details/128258962
版权
Flume是一款用于大规模日志收集、聚合和传输的工具，强调高可用性和可靠性。它能从多种数据源采集数据，并将其发送到HDFS、HBase等存储系统。Flume的架构包括单体、串联和级联三种模式，其中Agent由Source、Channel和Sink组成，分别负责数据采集、传输和目的地投递。
摘要由CSDN通过智能技术生成

目录

一、Flume简介

二、应用场景

三、Flume架构

1、单体架构

2、串联架构

3、级联架构

一、Flume简介

        Flume是由Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的工具,在大数据领域主要看中了 flume海量的日志实时采集功能。

        它可以采集文件，Socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中。


二、应用场景

场景一 实时日志采集
场景二 数据量很大，实时的小部分小部分的采集，节省时间
场景三 断点续传

了解本专栏 订阅专栏 解锁全文 超级会员免费看
forest_long
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【大数据入门核心技术-Flume】（二）Flume安装部署
12-14 582
参考Hadoop安装。修改环境变量vi /etc/profile添加配置export FLUME_HOME=/usr/local/flume-1.8.0 export PATH=$FLUME_HOME/bin:$PATH修改并置 flume-env.sh 文件 cd $FLUME_HOME/confcp flume-env.sh.template flume-env.sh vi flume-env.sh# 修改 JAVA_HOME 参数值为 jdk 安装路径*export JAVA_HO
大数据技术之Flume
Niklaus的博客
07-08 703
Flume 概述 Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据流的简单灵活的体系结构。它具有可调整的可靠性机制以及许多故障转移和恢复机制，具有强大的功能和容错能力。它使用一个简单的可扩展数据模型，允许在线分析应用程序。 Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写到HDFS中 Flume的版本更新相对稳定： Flume1.0:Flume-ng Flume-ng和Flume-og不兼容。现在开发过程中一般使用的是Flume-ng
【大数据入门核心技术-Flume】（三）使用Flume采集数据到HDFS
12-15 1294
1、Hadoop环境安装2、Flume安装部署。使用 flume-ng agent 命令加载 flume-hdfs.conf 配置信息，启动 flume 传输数据。运行flume-ng agent时报错com.google.common.base.Preconditions.checkArgumentHadoop环境安装2、Flume安装部署a1.sources=r1 a1.sinks=k1 a1.channels=c1 a1.sources.r1.type=spooldir
【大数据入门核心技术-Flume】（四）使用Flume采集数据到Hive
12-20 1411
rw-r--r--. 1 testuser supergroup 2747878 9月 10 2019 /usr/local/hadoop-3.2.1/share/hadoop/common/lib/guava-27.0-jre.jar。-rw-r--r--. 1 root root 1648200 6月 27 2016 /usr/local/flume-1.8.0/lib/guava-11.0.2.jar。【大数据入门核心技术-Flume】（二）Flume安装部署。2、Flume安装部署。
大数据入门--Flume（一）安装教程与案例
书山有路，学海无涯
07-31 491
安装教程 下载安装 apache-flume-1.9.0-bin.tar.gz 解压配置JAVA_HOME vi conf/flume-env.sh.templateexport JAVA_HOME=/opt/module/jdk1.8.0_144 案例 监控端口数据官方案例(netcat-logger) 官方链接敬上 因为此案例需要用到netcat，如果没有需要提前安装 # 安装 yum install -y nc # 启动服务端 nc -l localhost 44444 # 启动客户端，就
大数据入门--Flume详解
m0_52323752的博客
04-23 961
Flume本身是由Cloudera公司开发的后来贡献给了Apache的一套针对日志进行收集(collecting)、汇聚(aggregating)和传输(moving)的分布式机制。图-1 Flume图标Flume本身提供了较为简易的流式结构，使得开发者能够较为简易和方便的搭建Flume的流动模型。
【大数据入门核心技术-Flume】（五）使用Flume采集数据到Hbase
12-20 1066
rw-r--r--. 1 testuser supergroup 2747878 9月 10 2019 /usr/local/hadoop-3.2.1/share/hadoop/common/lib/guava-27.0-jre.jar。-rw-r--r--. 1 root root 1648200 6月 27 2016 /usr/local/flume-1.8.0/lib/guava-11.0.2.jar。【大数据入门核心技术-Flume】（二）Flume安装部署。2、Flume安装部署。
【大数据入门核心技术-Kafka】（一）Kafka简介
12-10 352
【大数据入门核心技术-Kafka】（一）Kafka简介。
【大数据入门核心技术-Impala】（一）Impala简介
12-10 3003
Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点也是最大卖点就是它的快速。
详细讲解hive on tez中各个参数作用，以及如何优化sql
cclovezbf的博客
09-05 786
最近经常有优化sql的任务，但是自己能力有限，只能凭经验去优化，现整理加学习一波，也欢迎各位学习和讨论。我们经常用hivesql 的模型就是 join.如下。这里面发生了什么，执行流程是什么，为什么有的insert要几十分钟有的只要几分钟。--造1000w条数据 文件大小为300M已知上面的数据为1000w条其中 id=1的有1000条 其余id=1000到1000w的依次分布。
HBase
最新发布
赞的心路历程
09-09 205
安装包：链接:提取码: 5up7。
【大数据】如何读取多个Excel文件并计算列数据的最大求和值
一个不断前行的程序者
09-09 362
在数据分析和处理中，我们经常需要从多个Excel文件中提取数据并进行计算。本文将带您通过一个实用的Python教程，学习如何读取D盘目录下特定文件夹内的多个Excel文件，并计算特定列数据的最大求和值。
衡石分析平台使用手册-新手上路介绍
zandy1011的博客
09-06 1125
​以下概括阐述了产品基本理念，这些理念贯穿我们的整个产品开发和设计，并最终体现为产品的功能形态。我们希望衡石分析平台可以成为各个领域的行业人员进行业务分析的称手兵器，简单稳定，容易上手。
深入解析Flink SQL：基本概念与高级应用
GZM888888的博客
09-09 234
Flink SQL作为Flink的重要组成部分，提供了一种声明式的语法，使得开发者能够更加便捷地处理无界和有界数据流。未来，随着Flink生态的不断完善，Flink SQL将在更多场景下发挥其优势，成为大数据处理的核心技术之一。Flink SQL是基于Apache Flink的分布式数据处理引擎，它扩展了传统的SQL语义，以支持流式数据处理和批处理。与传统的关系型数据库中的SQL不同，Flink SQL设计用于处理高速、连续的数据流，并且支持事件时间处理和乱序数据的处理。二、Flink SQL的核心特性。
如何确定kafka与zookeeper版本的对应关系
别来沾边儿
09-09 410
真希望官方可以贴心的整理出所有版本和zookeeper的对应关系，从目前kafka发展的趋势来看，都已经移除zookeeper依赖了，这件事也是木戏，哈哈哈；从解压目录我们可以kafka的源码是基于gradle的，我们只需要去gradle的依赖中找找zookeeper依赖的版本即可；搜索zookeeper关键字，可以看到Kafka2.7.2对应的Zookeeper版本为3.5.9。大家可以额外思考一下，如果用更高版本的zookeeper，kafka运行会不会有问题？这嘎嘎一列版本对应关系，哪来的呢？
大数据Flink（一百一十四）：PyFlink的作业开发入门案例
Lansonli（蓝深李）的博客
09-07 832
编写Flink程序，读取表中的数据，并根据表中的字段信息进行统计每个单词出现的数量。编写Flink程序，接收socket的单词数据，并以逗号进行单词拆分打印。注意：socketTextStream后的ip是云服务器ecs的公网ip。注意read_text_file后的地址要与实际地址对应。安装nc: yum install -y nc）（如果没有安装可以使用yum。开启netcat，监听。在ecs依次发送单词。
【大数据Big DATA】大数据解决方案，提供完整的大数据采集，大数据存储，大数据处理，具体业务应用解决方案
xzb5566的专栏
09-06 839
大数据解决方案是指利用大数据技术，结合企业实际业务需求，为企业提供数据采集、存储、处理、分析和报告等一站式服务，以帮助企业更好地利用大数据提高运营效率、优化决策制定。
Curator+Zookeeper实现分布式锁的示例
潜心学习+快乐编程+事业=人生
09-09 735
随着互联网的兴起，应用的单服务器部署已无法满足日益增长的用户需求，此时云服务+分布式技术应用而生，解决了应用弹性伸缩的问题。问题来了，分布式不同于单机，在单机应用下可以使用Java的并发编程API实现对共享资源的控制，而在分布式应用系统环境则可以借助Zookeeper来实现，Apache的顶级开源项目Curator则是为了更加方便操作Zookeeper而产生的Java项目。本文基于Curator+Zookeeper实现各种分布式锁，以实现分布式环境下对有限共享资源的并发访问。
尚硅谷大数据：Flume入门与架构详解
Flume是Cloudera开发的一款分布式、高可用且可靠的海量日志采集、聚合和传输系统，适用于实时处理来自不同源的数据，如Python爬虫、Java后台日志、本地磁盘文件以及网络端口。它的核心在于其流式架构，由Agent、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

forest_long

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值