3.2Flume-配置Flume(Flume传输Windows日志文件到Linux中HDFS)

目的:把windows里iis日志,通过flume实时传输到linux中的hadoop集群分布式存储
windows中日志生成在C:\inetpub\logs\LogFiles\W3SVC1,传输到Linux中的HDFS

流程:

1.windows、linux中安装好flume

2.配置信息

windows中配置信息:

a1.sources = r1
a1.sinks = k1
a1.channels = c1 
 
a1.sources.r1.type = spooldir    #spooldir Source用来监控目标文件夹内文件的更改
a1.sources.r1.channels = c1
a1.sources.r1.spoolDir = C:\\inetpub\\logs\\LogFiles\\W3SVC1
a1.sources.r1.fileHeader = true
a1.sources.r1.deserializer.maxLineLength = 5120
a1.sources.r1.basenameHeader = true
a1.sources.r1.basenameHeaderKey = fileName
a1.sources.r1.ignorePattern = ^(.
  • 1
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,以下是一个基础的Flume配置文件示例,用于将日志数据从本地文件系统传输HDFS: ``` #定义agent名称和组件 agent.sources = source1 agent.sinks = sink1 agent.channels = channel1 #配置source组件 agent.sources.source1.type = spooldir agent.sources.source1.spoolDir = /path/to/local/log/files agent.sources.source1.fileHeader = true agent.sources.source1.basenameHeader = true #配置sink组件 agent.sinks.sink1.type = hdfs agent.sinks.sink1.hdfs.path = hdfs://namenode:8020/path/to/hdfs/directory agent.sinks.sink1.hdfs.fileType = DataStream agent.sinks.sink1.hdfs.writeFormat = Text #配置channel组件 agent.channels.channel1.type = memory agent.channels.channel1.capacity = 1000 agent.channels.channel1.transactionCapacity = 100 #将source组件连接至channel组件 agent.sources.source1.channels = channel1 #将sink组件连接至channel组件 agent.sinks.sink1.channel = channel1 ``` 在该示例配置,我们定义了一个名为`source1`的source组件,它的类型为`spooldir`,即监控本地目录日志文件。我们还定义了一个名为`sink1`的sink组件,它的类型为`hdfs`,即将数据写入HDFS。我们还定义了一个名为`channel1`的channel组件,它的类型为`memory`,即在内存缓存数据。 为了进行基础测试配置,我们可以按照以下步骤进行: 1. 将上述配置保存为`flume-hdfs.conf`文件并将其放置在`flume/conf`目录下。 2. 确保本地日志文件所在目录(在配置文件定义的`/path/to/local/log/files`)存在,并且其包含一些测试数据。 3. 启动Flume agent,命令为:`bin/flume-ng agent -n agent -c conf -f conf/flume-hdfs.conf -Dflume.root.logger=INFO,console`。这将启动一个名为`agent`的Flume agent,并使用`flume-hdfs.conf`配置文件进行配置。 4. 检查HDFS目录(在配置文件定义的`hdfs://namenode:8020/path/to/hdfs/directory`)是否已经创建,并且其是否包含了来自本地日志文件的数据。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值