Windows PC上创建大数据职业技能竞赛实验环境之六--Flume、Kafka和Flink编程

最新推荐文章于 2023-12-16 16:41:19 发布
最新推荐文章于 2023-12-16 16:41:19 发布
阅读量2.5k 收藏
点赞数 1
分类专栏： 大数据平台 文章标签： hadoop kafka flink redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liu9ang/article/details/124186864
版权
本文详细介绍了如何在Windows环境下配置大数据工具，包括Flume的日志采集、Kafka的消息中间件、Flink的数据流处理以及Redis的数据存储。通过实例操作，如Flume的Avro和netcat测试，Kafka的生产者与消费者，Flink的WordCount示例以及Redis的启动和连接，全面展示了这些工具的使用流程。
摘要由CSDN通过智能技术生成

1 Flume

参看日志采集工具Flume的安装与使用方法_厦大数据库实验室博客 (xmu.edu.cn)。

查看Flume安装

root@client1:~# flume-ng version
Flume 1.7.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: 511d868555dd4d16e6ce4fedc72c2d1454546707
Compiled by bessbd on Wed Oct 12 20:51:10 CEST 2016
From source with checksum 0d21b3ffdc55a07e1d08875872c00523

Avro测试

创建agent配置文件。

root@client1:~# cd hadoop/apache-flume*/conf
root@client1:~/hadoop/apache-flume-1.7.0-bin/conf# vi avro.conf
  a1.sources = r1
  a1.sinks = k1
  a1.channels = c1

# Describe/configure the source
  a1.sources.r1.type = avro
  a1.sources.r1.channels = c1
  a1.sources.r1.bind = 0.0.0.0
  a1.sources.r1.port = 4141
#注意这个端口名，在后面的教程中会用得到

# Describe the sink
  a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
  a1.channels.c1.type = memory
  a1.channels.c1.capacity = 1000
  a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
  a1.sources.r1.channels = c1
  a1.sinks.k1.channel = c1

启动flume agent a1

root@client1:~/hadoop/apache-flume-1.7.0-bin/conf# cd
root@client1:~# flume-ng agent -c . -f hadoop/apache-flume-1.7.0-bin/conf/avro.conf -n a1 -Dflume.root.logger=INFO,console
Info: Including Hadoop libraries found via (/root/hadoop/hadoop-2.7.7/bin/hadoop) for HDFS access
Info: Including Hive libraries found via (/root/hadoop/apache-hive-2.3.4-bin) for Hive access
+ exec /usr/lib/jvm/java-8-openjdk-amd64/bin/java -Xmx20m -Dflume.root.logger=INFO,console -cp '/root:/root/hadoop/apache-flume-1.7.0-bin/lib/*:/root/hadoop/hadoop-2.7.7/etc/hadoop:/root/hadoop/hadoop-2.7.7/share/hadoop/common/lib/*:/root/hadoop/hadoop-2.7.7/share/hadoop/common/*:/root/hadoop/hadoop-2.7.7/share/hadoop/hdfs:/root/hadoop/hadoop-2.7.7/share/hadoop/hdfs/lib/*:/root/hadoop/hadoop-2.7.7/share/hadoop/hdfs/*:/root/hadoop/hadoop-2.7.7/share/hadoop/yarn/lib/*:/root/hadoop/hadoop-2.7.7/share/hadoop/yarn/*:/root/hadoop/hadoop-2.7.7/share/hadoop/mapreduce/lib/*:/root/hadoop/hadoop-2.7.7/share/hadoop/mapreduce/*:/root/hadoop/hadoop-2.7.7/contrib/capacity-scheduler/*.jar:/root/hadoop/apache-hive-2.3.4-bin/lib/*' -Djava.library.path=:/root/hadoop/hadoop-2.7.7/lib/native org.apache.flume.node.Application -f hadoop/apache-flume-1.7.0-bin/conf/avro.conf -n a1
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/root/hadoop/apache-flume-1.7.0-bin/lib/slf4j-log4j12-1.6.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/root/hadoop/hadoop-2.7.7/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/root/hadoop/apache-hive-2.3.4-bin/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
22/04/15 09:07:50 INFO node.PollingPropertiesFileConfigurationProvider: Configuration provider starting
22/04/15 09:07:50 INFO node.PollingPropertiesFileConfigurationProvider: Reloading configuration file:hadoop/apache-flume-1.7.0-bin/conf/avro.conf
22/04/15 09:07:50 INFO conf.FlumeConfiguration: Added sinks: k1 Agent: a1
22/04/15 09:07:50 INFO conf.FlumeConfiguration: Processing:k1
22/04/15 09:07:50 INFO conf.FlumeConfiguration: Processing:k1
22/04/15 09:07:50 INFO conf.FlumeConfiguration: Post-validation flume configuration contains configuration for agents: [a1]
22/04/15 09:07:50 INFO node.AbstractConfigurationProvider: Creating channels
22/04/15 09:07:50 INFO channel.DefaultChannelFactory: Creating instance of channel c1 type memory
22/04/15 09:07:50 INFO node.AbstractConfigurationProvider: Created channel c1
22/04/15 09:07:50 INFO source.DefaultSourceFactory: Creating instance of source r1, type avro
22/04/15 09:07:50 INFO sink.DefaultSinkFactory: Creating instance of sink: k1, type: logger
22/04/15 09:07:50 INFO node.AbstractConfigurationProvider: Channel c1 connected to [r1, k1]
22/04/15 09:07:50 INFO node.Application: Starting new configuration:{ sourceRunners:{r1=EventDrivenSourceRunner: { source:Avro source r1: { bindAddress: 0.0.0.0, port: 4141 } }} sinkRunners:{k1=SinkRunner: { policy:org.apache.flume.sink.DefaultSinkProcessor@441ddd7c counterGroup:{ name:null counters:{} } }} channels:{c1=org.apache.flume.channel.MemoryChannel{name: c1}} }
22/04/15 09:07:50 INFO node.Application: Starting Channel c1
22/04/15 09:07:50 INFO instrumentation.MonitoredCounterGroup: Monitored counter group for type: CHANNEL, name: c1: Successfully registered new MBean.
22/04/15 09:07:50 INFO instrumentation.MonitoredCounterGroup: Component type: CHANNEL, name: c1 started
22/04/15 09:07:50 INFO node.Application: Starting Sink k1
22/04/15 09:07:50 INFO node.Application: Starting Source r1
22/04/15 09:07:50 INFO source.AvroSource: Starting Avro source r1: { bindAddress: 0.0.0.0, port: 4141 }...
22/04/15 09:07:50 INFO instrumentation.MonitoredCounterGroup: Monitored counter group for type: SOURCE, name: r1: Successfully registered new MBean.
22/04/15 09:07:50 INFO instrumentation.MonitoredCounterGroup: Component type: SOURCE, name: r1 started
22/04/15 09:07:50 INFO source.AvroSource: Avro source r1 started.

打开另外一个终端，在/usr/local/flume下写入一个文件log.00。

root@client1:~# echo "hello world" > log.00
root@client1:~# flume-ng avro-client --conf conf -H localhost -p 4141 -F ./log.00
Info: Including Hadoop libraries found via (/root/hadoop/hadoop-2.7.7/bin/hadoop) for HDFS access
Info: Including Hive libraries found via (/root/hadoop/apache-hive-2.3.4-bin) for Hive access
+ exec /usr/lib/jvm/java-8-openjdk-amd64/bin/java -Xmx20m -cp 'conf:/root/hadoop/apache-flume-1.7.0-bin/lib/*:/root/hadoop/hadoop-2.7.7/etc/hadoop:/root/hadoop/hadoop-2.7.7/share/hadoop/common/lib/*:/root/hadoop/hadoop-2.7.7/share/hadoop/common/*:/root/hadoop/hadoop-2.7.7/share/hadoop/hdfs:/root/hadoop/hadoop-2.7.7/share/hadoop/hdfs/lib/*:/root/hadoop/hadoop-2.7.7/share/hadoop/hdfs/*:/root/hadoop/hadoop-2.7.7/share/hadoop/yarn/lib/*:/root/hadoop/hadoop-2.7.7/share/hadoop/yarn/*:/root/hadoop/hadoop-2.7.7/share/hadoop/mapreduce/lib/*:/root/hadoop/hadoop-2.7.7/share/hadoop/mapreduce/*:/root/hadoop/hadoop-2.7.7/contrib/capacity-scheduler/*.jar:/root/hadoop/apache-hive-2.3.4-bin/lib/*' -Djava.library.path=:/root/hadoop/hadoop-2.7.7/lib/native org.apache.flume.client.avro.AvroCLIClient -H localhost -p 4141 -F ./log.00
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/root/hadoop/apache-flume-1.7.0-bin/lib/slf4j-log4j12-1.6.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/root/hadoop/hadoop-2.7.7/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/root/hadoop/apache-hive-2.3.4-bin/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
22/04/15 09:14:25 WARN api.NettyAvroRpcClient: Using default maxIOWorkers
root@client1:~#

 第一个终端（agent窗口）下的显示，也就是在日志控制台，就会把log.00文件的内容打印出来。

22/04/15 09:14:25 INFO ipc.NettyServer: [id: 0x26eaff20, /127.0.0.1:48154 => /127.0.0.1:4141] OPEN
22/04/15 09:14:25 INFO ipc.NettyServer: [id: 0x26eaff20, /127.0.0.1:48154 => /127.0.0.1:4141] BOUND: /127.0.0.1:4141
22/04/15 09:14:25 INFO ipc.NettyServer: [id: 0x26eaff20, /127.0.0.1:48154 => /127.0.0.1:4141] CONNECTED: /127.0.0.1:48154
22/04/15 09:14:25 INFO ipc.NettyServer: [id: 0x26eaff20, /127.0.0.1:48154 :> /127.0.0.1:4141] DISCONNECTED
22/04/15 09:14:25 INFO ipc.NettyServer: [id: 0x26eaff20, /127.0.0.1:48154 :> /127.0.0.1:4141] UNBOUND
22/04/15 09:14:25 INFO ipc.NettyServer: [id: 0x26eaff20, /127.0.0.1:48154 :> /127.0.0.1:4141] CLOSED
22/04/15 09:14:25 INFO ipc.NettyServer: Connection to /127.0.0.1:48154 disconnected.
22/04/15 09:14:28 INFO sink.LoggerSink: Event: { headers:{} body: 68 65 6C 6C 6F 20 77 6F 72 6C 64                hello world }

netcatsource测试

创建agent配置文件。

root@client1:~# cd hadoop/apache-flume*/conf
root@client1:~/hadoop/apache-flume-1.7.0-bin/conf# vi netsource.conf

启动flume agent (即打开日志控制台)。

root@client1:~/hadoop/apache-flume-1.7.0-bin/conf# cd
root@client1:~# flume-ng agent -c . -f hadoop/apache-flume-1.7.0-bin/conf/netsource.conf -n a1 -Dflume.root.logger=INFO,
console
Info: Including Hadoop libraries found via (/root/hadoop/hadoop-2.7.7/bin/hadoop) for HDFS access
Info: Including Hive libraries found via (/root/hadoop/apache-hive-2.3.4-bin) for Hive access
+ exec /usr/lib/jvm/java-8-openjdk-amd64/bin/java -Xmx20m -Dflume.root.logger=INFO,console -cp '/root:/root/hadoop/apache-flume-1.7.0-bin/lib/*:/root/hadoop/hadoop-2.7.7/etc/hadoop:/root/hadoop/hadoop-2.7.7/share/hadoop/common/lib/*:/root/hadoop/hadoop-2.7.7/share/hadoop/common/*:/root/hadoop/hadoop-2.7.7/share/hadoop/hdfs:/root/hadoop/hadoop-2.7.7/share/hadoop/hdfs/lib/*:/root/hadoop/hadoop-2.7.7/share/hadoop/hdfs/*:/root/hadoop/hadoop-2.7.7/share/hadoop/yarn/lib/*:/root/hadoop/hadoop-2.7.7/share/hadoop/yarn/*:/root/hadoop/hadoop-2.7.7/share/hadoop/mapreduce/lib/*:/root/hadoop/hadoop-2.7.7/share/hadoop/mapreduce/*:/root/hadoop/hadoop-2.7.7/contrib/capacity-scheduler/*.jar:/root/hadoop/apache-hive-2.3.4-bin/lib/*' -Djava.library.path=:/root/hadoop/hadoop-2.7.7/lib/native org.apache.flume.node.Application -f hadoop/apache-flume-1.7.0-bin/conf/netsource.conf -n a1
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/root/hadoop/apache-flume-1.7.0-bin/lib/slf4j-log4j12-1.6.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/root/hadoop/hadoop-2.7.7/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/root/hadoop/apache-hive-2.3.4-bin/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
22/04/15 09:26:23 INFO node.PollingPropertiesFileConfigurationProvider: Configuration provider starting
22/04/15 09:26:23 INFO node.PollingPropertiesFileConfigurationProvider: Reloading configuration file:hadoop/apache-flume-1.7.0-bin/conf/netsource.conf
22/04/15 09:26:23 INFO conf.FlumeConfiguration: Added sinks: k1 Agent: a1
22/04/15 09:26:23 INFO conf.FlumeConfiguration: Processing:k1
22/04/15 09:26:23 INFO conf.FlumeConfiguration: Processing:k1
22/04/15 09:26:23 INFO conf.FlumeConfiguration: Post-validation flume configuration contains configuration for agents: [a1]
22/04/15 09:26:23 INFO node.AbstractConfigurationProvider: Creating channels
22/04/15 09:26:23 INFO channel.DefaultChannelFactory: Creating instance of channel c1 type memory
22/04/15 09:26:23 INFO node.AbstractConfigurationProvider: Created channel c1
22/04/15 09:26:23 INFO source.DefaultSourceFactory: Creating instance of source r1, type netcat
22/04/15 09:26:23 INFO sink.DefaultSinkFactory: Creating instance of sink: k1, type: logger
22/04/15 09:26:23 INFO node.AbstractConfigurationProvider: Channel c1 connected to [r1, k1]
22/04/15 09:26:23 INFO node.Application: Starting new configuration:{ sourceRunners:{r1=EventDrivenSourceRunner: { source:org.apache.flume.source.NetcatSource{name:r1,state:IDLE} }} sinkRunners:{k1=SinkRunner: { policy:org.apache.flume.sink.DefaultSinkProcessor@2631fbbf counterGroup:{ name:null counters:{} } }} channels:{c1=org.apache.flume.channel.MemoryChannel{name: c1}} }
22/04/15 09:26:23 INFO node.Application: Starting Channel c1
22/04/15 09:26:23 INFO instrumentation.MonitoredCounterGroup: Monitored counter group for type: CHANNEL, name: c1: Successfully registered new MBean.
22/04/15 09:26:23 INFO instrumentation.MonitoredCounterGroup: Component type: CHANNEL, name: c1 started
22/04/15 09:26:23 INFO node.Application: Starting Sink k1
22/04/15 09:26:23 INFO node.Application: Starting Source r1
22/04/15 09:26:23 INFO source.NetcatSource: Source starting
22/04/15 09:26:23 INFO source.NetcatSource: Created serverSocket:sun.nio.ch.ServerSocketChannelImpl[/127.0.0.1:44444]

再打开一个终端，输入命令:telnet localhost 44444。

root@client1:~# telnet localhost 44444
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.

如果终端提示没有安装telnet，使用apt install telnet安装。

然后我们可以在终端下输入任何字符，第一个终端的日志控制台也会有相应的显示，如我们输入”hello,world”。

root@client1:~# telnet localhost 44444
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
Hello world
OK

第一个终端的日志控制台显示。

<
最低0.47元/天 解锁文章
liu9ang
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
关于Flume和Flink
牧夏的个人博客
07-20 46
Flink则作为数据处理引擎，接收来自Flume的数据流，执行实时分析、过滤、聚合等操作，并将处理后的数据输出到最终的目的地（如数据库、消息队列或其他下游系统）。Flink能够快速响应，就像一个技艺高超的厨师，能够即时调整火候，让菜肴保持最佳风味。而Flink则像是那个真正的主厨，他拿到准备好的食材，开始烹饪，加入调料，做出美味的菜肴。在现实世界中，很多大数据系统就是这么工作的：先用Flume这样的工具收集和准备数据，然后用Flink这样的工具实时处理数据，最后将处理后的数据用于各种业务决策。
Flink、Hive、Flume
qq_70085330的博客
07-14 2646
Flink、Hive、Flume
网站日志实时分析（一）：flume+kafka+Flink连通
weixin_43272605的博客
03-02 7372
这里flume+kafka+Flink Cluster总体架构就是这个样子。 我们将多个Tomcat Server的Web服务器，或者其他的网站服务器都看你而定，没台节点上都配置了Flume Agent，用来收集本地日志目录。然后在另一台节点配置了Flume Consolidation Agent，用来收集各个Web服务器的Flume Agent的数据，然后送入Kafka Cluster。然后K...
windows系统搭建kafka+flume环境
aliyeah的专栏
03-19 2188
1.配置环境变量 新建ZOOKEEPER_HOME=G:\bigdatatool\zookeeper-3.4.14 path添加%ZOOKEEPER_HOME%\bin; 2.在zookeeper的conf目录下将zoo_sample.cfg文件重命名为zoo.cfg 3.双击在zookeeper的bin目录下执行zkServer.cmd 4.打开cmd 进入kafka目录，执行以下命令启动kafka 修改server.properties文件里的用#注解“log.dirs=/tmp/kafka-log
关于Flume拓扑结构--Flink进阶认识
程序员视野
12-16 922
Flume拓扑结构 1 简单串联 Flume Agent连接 此模式不建议桥接过多的flume数量， flume数量过多不仅会影响传输速率，而且一旦传输过程中某个节点flume宕机，会影响整个传输系统。 2 复制和多路复用 单source，多channel、sink Flume支持将事件流向一个或者多个目的地。这种模式可以将相同数据复制到多个channel中，或者将不同数据分发到不同的channel中，sink可以选择传送到不同的目的地。 3 负载均衡和故障转移 Flume支持使用将多个s
flume+kafka+flink+mysql数据统计
04-20
在大数据处理领域，Flume、Kafka、Flink 和 MySQL 是四个非常重要的组件，它们各自承担着不同的职责，共同构建了一套高效的数据流处理系统。本文将深入探讨这些技术及其在"flume+kafka+flink+mysql数据统计"中的应用...
大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK......
05-08
大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK...... 大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK...... 大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK.......
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例.txt
10-13
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例.txt基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例.txt基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例.txt基于Flume+Kafka+Hbase+Flink+FineBI的实时综合...
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
在大数据领域，构建一个完整的生态系统是至关重要的，其中包括多个组件，如Hadoop、Spark、Hive、HBase、Oozie、Kafka、Flume、Flink、Elasticsearch和Redash。这些组件协同工作，提供了数据存储、处理、调度、流...
大数据基础面试题hadoop,zookeeper,hbase,hive,spark,kafka,flink,clickhouse
03-09
在大数据领域，掌握各种工具和技术是至关重要的。以下是一些关于标题和描述中提及的关键技术的知识点详解： 1. **Hadoop**： Hadoop 是一个开源的分布式计算框架，核心由 HDFS（Hadoop Distributed File System）...
flume+kafka+flink实现实时流处理数据的内在逻辑原理
最新发布
qq_63483349的博客
12-16 755
一、内在逻辑原理：：：二、工作大致流程。
实时大数据处理：Storm、Kafka、Flume和Flink的结合
qq_67209161的博客
12-15 1186
以下是关于如何使用Storm、Kafka、Flume和Flink这些实时计算框架的一些基本信息：- Storm是一个开源的分布式实时计算系统。它可以处理大量的数据流，并且具有高可靠性和可扩展性。- Storm的应用包括实时计算，数据被一条一条地计算，实时收集、实时计算、实时展示。- Kafka是一个开源的分布式流处理平台，由LinkedIn开发并于2011年成为Apache项目。- Kafka的使用包括创建Topic，发送消息，以及消费消息。
【kafka】Kafka Fetch Session 剖析
九师兄
07-12 2588
1.概述 转载：https://www.cnblogs.com/smartloli/p/14352489.html 1.概述 最近有同学留言在使用Kafka的过程中遇到一些问题，比如在拉取的Topic中的数据时会抛出一些异常，今天笔者就为大家来分享一下Kafka的Fetch流程。 2.内容 2.1 背景 首先，我们来了解一下，Fetch Session的目标。Kafka在1.1.0以后的版本中优化了Fetch问题，引入了Fetch Session，Kafka由Broker来提供服务（通信、数据交互等）。每.
kafka broker configs list
weixin_34143774的博客
12-03 471
背景说明 在维护 kafka 集群的过程中，发现以前的一些配置项并不是很合理，原因是自己对 kafka broker 的配置项不了解，为了加强自己对这部分的理解，也为了更好的维护 kafka 集群，对 kafka-1.0.1 版本的 broker 的配置项进行了 review。 可配置项 1、必须要配置的参数有三个： broker.id log.dirs zookeeper.connect ...
[Flume]安装，部署与应用案例
SmartSi
09-19 3216
1. 官网　 http://flume.apache.org/ 2. 下载 http://flume.apache.org/download.html 3. 安装 3.1 将下载的flume包，解压到/opt目录中 3.2 创建flume-env.sh 配置文件 xiaosi@Qunar:/opt/apache-flume-1.6.0-bin/c
解决启动flume时,出现问题警告和报错的问题 No configuration directory set
qq_44513460的博客
12-18 7893
解决flume在启动时,出现的警告和报错问题
kafka服务器节点的配置(三)
XinhuaShuDiao的博客
02-09 3418
kafka的核心配置是： broker.id--节点id log.dirs--日志路径 zookeeper.connect--zookeeper的连接地址 节点重新配置后有3种启动方式： read-only:需要重新启动broker进行更新。 per-broker:可以为每个broker动态更新。 cluster-wide:可以作为集群范围的默认值动态更新，也可以为测试更新为每个broker的值。 下面分别看下服务器节点的配置： 1.zookeeper.co...
快学Big Data -- Flume（十五）
知识的力量
09-03 591
Flume 总结 官网：http://flume.apache.org/FlumeUserGuide.html   概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中 一般的采集需求，通过对flume的简单...
Flume案例
ZK_小小世界的专栏
08-17 1519
一、Flume的案例 1.案例1：Avro Avro可以发送一个给定的文件给Flume，Avro 源使用AVRO RPC机制。 1）创建agent的配置文件avro.confa1.sources = r1 a1.sinks = k1 a1.channels = c1# Describe/configure the source a1.sources.r1.type = avro a1.sour
大数据面试深度解析：Flume、HDFS、Kafka与Flink核心知识点
"大数据面试100题.pdf" 涵盖了大数据技术栈中关键组件的面试问题，包括数据采集、数据存储和数据处理。以下是这些知识点的详细解释： ### 数据采集 1. **Flume**：Flume 是一个高可用、高可靠的数据收集系统，用于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值