Hadoop之Flume 记录

 

出现这个错误是自己的粗心大意,解决:

在配置flume-conf.properties文件时,source和channel的对应关系是:

myAgentName.sources.mySourceName.channels = myChannelName

myAgentName.sinks.mySinkName.channel = myChannelName

注意其中的后缀,带s和不带s后缀。

这也恰好说明

source可以“流向”多个channel,而sink只能接收一个channel的“流入”。

从channel的角度看:channel既可以接收多个source的“流入”,又可以“流向”多个sink

 

例如多对多关系:

对应的配置如下:

 1 # example.conf: A single-node Flume configuration
 2 
 3 # Name the components on this agent
 4 agent1.sources=sour1 s2 s3
 5 agent1.sinks=sink1 sink12 sink21 sink3
 6 agent1.channels=chan1 chan2 chan3
 7 
 8 # Describe/configure the source
 9 agent1.sources.sour1.type=netcat
10 agent1.sources.sour1.bind=localhost
11 agent1.sources.sour1.port=44444
12 
13 agent1.sources.s2.type=netcat
14 agent1.sources.s2.bind=localhost
15 agent1.sources.s2.port=44445
16 
17 agent1.sources.s3.type=netcat
18 agent1.sources.s3.bind=localhost
19 agent1.sources.s3.port=44446
20 
21 # Describe the sink
22 agent1.sinks.sink1.type=logger
23 agent1.sinks.sink12.type=logger
24 agent1.sinks.sink21.type=logger
25 agent1.sinks.sink3.type=logger
26 
27 # Use a channel which buffers events in memory
28 agent1.channels.chan1.type=memory
29 agent1.channels.chan1.capacity=1000
30 #agent1.channels.chan1.transactionCapacity=100
31 
32 agent1.channels.chan2.type=memory
33 agent1.channels.chan2.capacity=1000
34 
35 agent1.channels.chan3.type=memory
36 agent1.channels.chan3.capacity=1000
37 
38 
39 # Bind the source and sink to the channel
40 agent1.sources.sour1.channels=chan1 chan2
41 agent1.sources.s2.channels=chan2
42 agent1.sources.s3.channels=chan2 chan3
43 
44 agent1.sinks.sink1.channel=chan1
45 agent1.sinks.sink12.channel=chan1
46 agent1.sinks.sink21.channel=chan2
47 agent1.sinks.sink3.channel=chan3

 

转载于:https://www.cnblogs.com/cnblogszs/p/10548837.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值