大数据课程E4——Flume的Channel

已于 2023-07-31 18:21:57 修改
阅读量807 收藏
点赞数
文章标签： 大数据 hadoop 分布式 flume
于 2023-07-29 22:23:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013955758/article/details/131987084
版权
本文详细介绍了Flume中的Channel，包括Memory Channel的内存存储特性、File Channel的磁盘存储保证可靠性以及JDBC和Spillable Memory Channel的适用场景。通过案例配置展示了如何设置Channel的相关参数，并探讨了不同Channel的优缺点。
摘要由CSDN通过智能技术生成

文章作者邮箱：yugongshiye@sina.cn              地址：广东惠州

 ▲ 本章节目的

⚪ 了解Channel的作用和配置；

⚪ 掌握Channel的使用方法；

⚪ 掌握Channel的File Channel；

⚪ 掌握Channel的JDBC Channel；

⚪ 掌握Channel的Spillable Memory Channel；

一、Memory Channel

1. 概述

1. Memory Channel将数据临时存储到内存的指定队列中。

2. 如果不指定，则队列大小默认是100，即在队列中最多允许同时存储100条数据。如果队列被占满，那么后来的数据就会被阻塞。实际过程中，一般会将这个值调剂为10W~30W，如果数据量比较大，也可以考虑调剂为50W。

3. Channel可以批量接收Source的数据，也可以将数据批量发送给Sink，那么默认情况下，每一批数据是100条。实际过程中，一般会将这个值调节为1000~3000，如果Channel的容量为50W，那么此时一般将批量调剂为5000。

4. Memory Channel是将数据存储在内存中，所以不可靠，但是读写速度快，因此适应于要求速度但不要求可靠性的场景。

2. 配

最低0.47元/天 解锁文章
伟雄
关注
Flume+Kafka+Spark搭建与案例实操
tuuna的博客
09-26 2141
大数据开发文档 文章目录单机版环境搭建及相关DEMOFlumeFlume基本介绍与架构Flume安装部署案例实操Kafka环境搭建Kafka控制台的一些命令操作Java API控制KafkaFlume+Kafka配合SparkSpark 简介Spark环境搭建在Spark Shell 中运行代码Scala编写wordCount在Spark-Shell中执行词频统计词频统计编写独立应用程序执行词频统...
大数据面试题及答案
阅后即焚
03-05 4520
Hadoop 相关试题 Hive 相关试题 1、 hive表关联查询，如何解决数据倾斜的问题? 倾斜原因： map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特点、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。 1)、key分布不均匀; 2)、业务数据本身的特性; 3)、建表时考虑不周; 4)、某些SQL...
大数据实训
wjl2506421的博客
07-20 4218
大数据实训大纲 一、大数据梗概 什么是大数据 ​ 大数据，官方定义是指那些数据量特别大、数据类别特别复杂的数据集，这种数据集无法用传统的数据库进行存储，管理和处理。 大数据的主要特点为： 数据量大（Volume） 数据类别复杂（Variety） 数据处理速度快（Velocity） 数据真实性高（Veracity） 合起来被称为4V。 ​ 还有的将大数据特点定义为6V模型，即增加了Valence（连接）、Value（价值）2V。 大数据常见概念分类 大数据相关的概念大家都听过不少：HDFS、MapReduc
大数据简单面试题
Denovo的博客
05-27 7965
面试题 1、HashMap 和 Hashtable 区别 HashMap和Hashtable的存储和遍历都是无序的！ 继承的类不同：HashMap继承的是AbstractMap类；Hashtable 继承Dictionary类。但是都实现了Map接口。 线程安全问题：hashmap是非线程安全的，底层是一个Entry数组，put进来的数据，会计算其hash值，然后放到对应的bucket上去，当发生hash冲突的时候，hashmap是采用链表的方式来解决的，在对应的数组位置存放链表的头结点，对链表而言，新加
离线数仓总结
wywwyx090104的博客
08-17 3797
离线数仓总结 一、1、背景介绍（某APP上线后，由于业务模式新颖，市场需求量大，经过一段时间的精心运营后，逐渐积累起了上千万会员，以及三四百万的日活量， app的业务功能和产品种类、数量也急速膨胀；主要问题有：营销分析断层；产品迭代无法量化；用户运营不精准；全局运营指标监控不实时） 2、需求总览：流量域分析 2.1、基础数据分析（整体概况、用户获取、活跃与留存、事件转化、用户特征） 2.2、基础数据分析指标概览 整体概况：产品整体的使用情况，包括用户量、访问情况、留存等帮助对产品整体指标有一个大致的了解（累
Spark面试题及其答案
进行中
04-25 7606
一、简答题 1.Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？ 答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Executors。standby节点要从zk中，获得元数据信息，恢复集群运行状态，才能对外...
spark面试题
Summer2381的博客
09-19 1443
一、简答题 1.Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？ 答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Executors。standby节点要从zk中，获得元数据信息，恢复集群运行状态，才能对外...
Spark面试题、答案
weixin_41290471的博客
11-03 1574
一、简答题 1.Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？ 答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Executors。standby节点要从zk中，获得元数据信息，恢复集群运行状态，才能对外...
hadoop面试问题
weixin_42310289的博客
03-19 999
Hadoop 相关试题 Hive 相关试题 1、 hive表关联查询，如何解决数据倾斜的问题? 倾斜原因： map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特点、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。 1)、key分布不均匀; 2)、业务数据本身的特性; 3)、建表时考虑不周; 4)、某些SQL语句本身就有数据倾斜; 如何避免：对...
大数据课程E8——Flume的Ganglia
u013955758的专栏
07-30 614
a. gmond(Ganglia Monitoring Daemon)是一个轻量级的服务，需要安装在每一条需要收集指标数据的主机上，使用gmond来收集系统指标数据，包含CPU，内存、磁盘、网络以及活跃的进程数量等。提供了WEB页面，在Web界面中以图表的形式来显式集群的运行状态下所收集的到的不同的指标数据。1. Ganglia是UC Berkeley发起的一个开源的集群监控项目，被设计用于测量数以千计的节点性能。#修改udp_send_channel中的属性。#修改data_souce属性的值，例如。
大数据课程E3——Flume的Sink
u013955758的专栏
07-29 904
2. 同HDFS Sink类似，File Roll Sink在往磁盘上写的时候，也有一个滚动的间隔时间，同样是30s，因此在磁盘上同样会形成大量的小文件。3. 在往HDFS上写数据的时候，数据的存储文件会定时的滚动，如果不指定，那么每隔30s会滚动一次，生成一个文件，那么此时会生成大量的小文件。2. 在往HDFS上写的时候，支持三种文件类型：文本类型，序列类型以及压缩类型。2. 在打印的时候，为了防止过多的数据将屏幕占满，所以要求body部分的数据不能超过16个字节，超过的部分不打印。
大数据课程E2——Flume的Source
u013955758的专栏
07-26 888
1. 自定义Source：需要定义一个类实现Source接口的子接口：EventDrivenSource或者PollableSource。2. 如果不指定，默认情况下，一个文件被收集之后，会自动添加一个后缀.COMPLETED，通过通过属性fileSuffix来修改。2. 除了实现上述两个接口之一，这个自定义的类一般还需要考虑实现Configurable接口，通过接口的方法来获取指定的属性。1. Spooling Directory Source是监听指定的目录，自动将目录中出现的新文件的内容进行收集。
大数据课程E6——Flume的Processor
u013955758的专栏
07-30 1322
2. 在Default Processor的模式下，每一个Sink都对应了一个单独的Sinkgroup，即有几个Sink就有几个Sinkgroup。1. Load Balancing Processor进行负载均衡的Processor，在数据量较大的时候，可以考虑使用。1. Failover Sink Processor将多个Sink绑定到一个组中，同一个组中的Sink需要指定优先级。2. 只要高优先级的Sink存活，那么数据就不会发送给低优先级的Sink。⚪ 掌握Processor的使用方法；
Flume：大规模日志收集与数据传输的利器
Casual_Lei的博客
09-14 1013
是一个分布式、可靠、可扩展的日志收集和聚合系统，设计的初衷是用于高效收集和传输大量日志数据。它通常用于将数据从各种数据源，如日志文件、应用服务器、甚至是消息队列，实时传输到大数据处理系统（如 Hadoop 的 HDFS、HBase 或 Kafka）。Flume 的一个重要特点是其“可插拔性”，可以灵活地配置不同的数据源（Source）和目标存储（Sink），通过中间通道（Channel）来实现可靠的数据传输。Apache Flume 是一个非常强大的工具，适用于大规模日志数据的实时收集和传输。
【Elasticsearch系列六】系统命令API
最新发布
檀越的博客
09-16 1185
💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。非常期待和您一起在这个小小的网络世界里共同探索、学习和成长。💝💝💝 ✨✨ 欢迎订阅本专栏 ✨✨。
滚雪球学SpringCloud[2.2]：Consul与Zookeeper服务注册
**My Coding Family**
09-14 947
在上一节【2.1 服务注册中心Eureka】中，我们探讨了 Netflix 开源的服务注册中心 Eureka 的核心概念及其在微服务架构中的应用。Eureka 通过提供服务注册与发现功能，帮助微服务之间高效通信，并且具备高可用性和扩展性。虽然 Eureka 在微服务架构中应用广泛，但并不是唯一的解决方案。除了 Eureka，还有其他非常优秀的服务注册中心，如Consul和Zookeeper，它们在不同的场景下各有优势。本节将详细介绍Consul和Zookeeper。
消息中间件有哪些常见类型
weixin_57763462的博客
09-15 594
需要注意的是，这些类型并不是严格互斥的，有些消息中间件可能支持多种消息传递模式或结合了多种类型的特点。在这种模型中，消息被发送到特定的队列中，消费者从队列中取出并处理消息。在发布/订阅模型中，消息被发布到特定的主题（Topic）上，所有订阅了该主题的消费者都可以接收到这个消息。消息代理是一种更通用的概念，它涵盖了上述的点对点和发布/订阅模型，以及可能的其他消息传递模式。消息代理作为消息的存储和转发中心，负责消息的路由、过滤、持久化等功能。这类消息系统使用日志结构来存储消息，提供了极高的吞吐量和可扩展性。
【大数据】探索怎么从一段话中解析关键信息（寄件人相关信息）
一个不断前行的程序者
09-12 616
通过使用Spacy的NLP功能，我们成功实现了从文本中提取姓名、地址和电话号码的功能。需要注意的是，这个简单的示例可能在处理复杂文本时效果不佳，实际应用中可能需要进一步的优化和训练。此外，对于电话号码的识别，我们简单地使用了数字长度作为判断依据，这并不准确。在实际应用中，我们可以使用正则表达式来更准确地识别电话号码。希望这个博客能够帮助你了解如何使用NLP技术实现文本信息解析功能。如果有任何疑问，欢迎在评论区留言讨论！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值