基于Hadoop3.2的搜狗网搜索日志行为分析(13)--安装与配置Flume

jasmine_wxy

于 2023-03-29 16:47:21 发布

阅读量56

点赞数

分类专栏：基于Hadoop3.2的搜狗网搜索日志行为分析文章标签： flume hadoop 大数据

本文链接：https://blog.csdn.net/jasmine_wxy/article/details/129777263

版权

基于Hadoop3.2的搜狗网搜索日志行为分析专栏收录该内容

20 篇文章 6 订阅 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了如何在Hadoop3.2环境下安装Flume 1.9.0并进行配置，通过创建flume-conf.properties文件设置从8090端口收集数据。同时，文章还涵盖了Flume的启动步骤，以及利用telnet测试数据采集的完整过程。

摘要由CSDN通过智能技术生成

本实验使用的Flume版本为1.9.0。

1、解压安装Flume

tar -zxf /opt/hadoop/apache-flume-1.9.0-bin.tar.gz -C ~/

2、配置Flume，实现从特定端口采集数据

在flume的安装目录下找到conf目录，创建flume-conf.properties文件，然后修改该配置文件的内容

agent.sources = src
agent.channels = memoryChannel
agent.sinks = loggerSink

# For each one of the sources, the type is defined
agent.sources.src.type = netcat
# 表示从本地获取数据
agent.sources.src.bind=localhost
# 绑定端口号
agent.sources.src.port=8090

# The channel can be defined as follows.
agent.sources.src.channels = memoryChannel

# Each sink's type must be defined
agent.sinks.loggerSink.type = logger

#Specify the channel the sink should use
agent.sinks.loggerSink.channel = memoryChannel

# Each channel's type is defined.
agent.channels.memoryChannel.type = memory

保存文件。
flume-conf.properties配置使用netcat在8090端口收集数据。