flume安装,配置及端口与文件监听

已于 2022-05-30 11:07:22 修改
阅读量514 收藏 1
点赞数
文章标签： flume big data hadoop
于 2022-05-24 13:09:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63290456/article/details/124944954
版权

flume

flume依赖于java环境，安装flume前先安装JDK

安装单机版flume

  1. 解压

    tar -zxvf 包名 -C 解压到指定目录

  2. 改名(解压后的目录名,可不改)

  3. 配置环境变量

    vim /root/.bash_profile

    export FLUME_HOME=指定安装路径

    export PATH=$PATH:$FLUME_HOME/bin

  4. 使配置环境立即生效

    source /root/.bash_profile

  5. 创建配置文件

    vim 下载目录/flume/conf/duankou.conf(文件名自取)

监听端口

  1. 添加内容(监听端口)

    # 定义三个flume工作组件

a1.sources=r1		# 数据来源
a1.sinks=k1			# 数据到哪去
a1.channels=c1		# 中间的缓冲频道(一般设置到内存中)

a1.sources.r1.type=netcat		# 监听网络端口
a1.sources.r1.bind=hadoop101		# 绑定主机(地址)名
a1.sources.r1.port=9999		# 监听端口号

a1.sinks.k1.type=logger		# 以日志形式打印

a1.channels.c1.type=memory		# 数据缓存在内容中
a1.channels.c1.capacity=1000		# 容量
a1.channels.c1.transactionCapacity=100		# 事务容量

# 将a1,r1,k1关联到c1
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

  2. 启动监听

    flume-ng agent -c conf -f 解压目录/conf/duankou.conf --name a1 -Dflume.root.logger=INFO,console

  3. 新建连接,创建监听端口

    # 在新建连接下
nc hadoop101 9999

监听文件

  1. 创建配置文件

    vim 下载目录/flume/conf/wenjian.conf(文件名自取)

  2. 添加内容(监听文件)

    # 定义三个flume工作组件

a1.sources=r1		# 数据来源
a1.sinks=k1			# 数据到哪去
a1.channels=c1		# 中间的缓冲频道(一般设置到内存中)

a1.sources.r1.type=exec		# 监听文件
a1.sources.r1.command=tail -F /opt/data/myword.txt		# 监听哪个文件

a1.sinks.k1.type=logger

a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

  3. 创建文件

    vim /opt/data/myword.txt

  4. 启动监听

    flume-ng agent -c conf -f 解压目录/conf/wenjian.conf --name a1 -Dflume.root.logger=INFO,console

  5. 向文件写入内容

    echo "my name whp" >> /opt/data/myword.txt

    链接kafka配置文件

    1. 创建配置文件

      vim 下载目录/flume/conf/kafka.conf(文件名自取)

    2. 添加内容(监听文件)

    a1.sources=r1
a1.sinks=k1
a1.channels=c1

a1.sources.r1.type=exec
a1.sources.r1.command=tail -F /opt/data/myword.txt

# flume监听内容后丢到kafka中
a1.sinks.k1.type=org.apache.flume.sink.kafka.KafkaSink
# 设置kafka的主题
a1.sinks.k1.topic=youxi
# 设置kafka的broker地址以及端口号
a1.sinks.k1.kafka.bootstrap.servers=hadoop101:9092,hadoop102:9092,hadoop103:9092
# 设置kafka序列化方式
a1.sinks.k1.serializer.class=kafka.serializer.StringEncoder

a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

a1.sources.c1.channels=c1
a1.sinks.k1.channel=c1

flume链接kafka

zookeeper集群

默认通信端口:2181

  1. 解压压缩包至指定目录

    tar -zxvf zookeeper… -C 指定目录

  2. 重命名压缩目录

  3. 配置环境变量

    vim /root/.bash_profile

    export ZOOKEEPER_HOME=/usr/local/src/zookeeper

    export PATH:$ZOOKEEPER_HOME/bin

  4. 使环境变量生效

    source /root/.bash_profile

  5. 在zookeeper目录下编辑zoo.cfg配置文件

    • 拷贝一份zoo_sample.cfg文件

      cp zoo_sample.cfg zoo.cfg

    • 编辑zoo.cfg文件: vi/vim zoo.cfg

      加入以下内容

      server.1=hadoop101:2888:3888

server.2=hadoop102:2888:3888

server.3=hadoop103:2888:3888

    • 在/tmp/zookeeper目录下创建myid

      vim myid

    • 或者将zoo.cfg中dataDir改为

      dataDir=/usr/local/src/zookeeper/tmp/data

      在zookeeper目录下创建tmp/data文件夹新建myid文件

      vim myid

      加入以下内容:

      1

  6. 将zookeep目录拷贝至其它机器上

    scp -r zookeeper/ hadoop102:/usr/local/src/
scp -r 需拷贝的目录路径/ 主机名:拷贝目录

  7. 远程登陆其他机器

    ssh hadoop102

    vim /usr/local/src/zookeeper/tmp/data/myid

    改成2

    退出

    exit;

    ssh hadoop103

    vim /usr/local/src/zookeeper/tmp/data/myid

    改成3

    退出

    exit;

  8. 更改另两台机器的环境变量

  9. 使配置生效: source /root/.bash_profile

  10. 启动三台机器的zookeeper集群(三台机器输入以下命令)

    zkServer.sh start

  11. 查看三台机器状态

    zkServer.sh status

    kafka配置

    1. 解压压缩包至指定目录

    2. 更改解压目录为kafka

    3. 更改环境变量

      export KAFKA_HOME=/usr/local/src/kafka
export PATH=$PATH:$KAFKA_HOME/bin

    4. 使配置环境生效

      source /root/.bash_profile

    5. 更改在kafka目录下的config目录下的server.properties

      vim /usr/local/src/kafka/config/server.properties

      # 每台机器上的id都不能一样
broker.id=1
# 添加主机名
host.name=192.168.110.101

# 取消以下注释
#listeners = PLAINTEXT://your.host.name:9092
# 改为					主机名或主机ip
listenters = PLAINTEXT://192.168.110.101:9092

#更改log.dirs
改为:	log.dirs=/usr/local/src/kafka/tmp/kafka-logs

# 更改zookpper通信地址zookeeper.connect
zookeeper.connect=hadoop101:2181,hadoop102:2181,hadoop103:2181

    6. 将kafka目录拷贝至其他机器

      scp -r kafka/ hadoopo102:/usr/local/src/

    7. 配置另外两台机器的环境变量

    8. 更改另两台的配置文件

      vim server.properties

      broker.id=2
host.name=192.168.110.102
listeners = PLAINTEXT://192.168.110.102:9092

    9. 启动kafka(三台机器输入以下指令)

      kafka-server-start.sh -daemon kafka/config/server.properties

    10. kafka测试(任选一台机器)

      # 创建主题
kafka-topics.sh --create --zookeeper 主机名:2181 --replication-factor 1 --partitions 1 --topic test (test为主题名称)

# 查看主题
kafka-topics.sh --zookeeper hadoop101:2181 -list

# 启动生产者
kafka-console-producer.sh --broker-list ip地址:9092 --topic test

# 启动消费者
kafka-console-consumer.sh --bootstrap-server 地址:9092 --topic test --from-beginning

# 删除主题
kafka-topics.sh --zookeeper localhost:2181 --delete --topic test
ab146efg
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
实训笔记：Flume基础 Mac Flume基本使用
qq_45952540的博客
04-25 1922
flume基本使用
【Flume】Flume入门解析（一）
Together
12-05 6061
1. 什么是flume? apache Flume 是一个从可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务，或者数集中机制。flume具有高可用，分布式，配置工具，其设计的原理也是基于将数据流，如日志数据从各种网站服务器上汇集起来存储到HDFS，HBase等集中存储器中 2. 安装步骤 1.将Flume安装包上传至集群 2.解压 tar...
flume监控与监控原理
阿华田的博客
10-19 3000
Flume监控流程 首先在flume-ng-node中org.apache.flume.node.Application的main方法中，有两个方法分别是startAllComponents()和startAllComponents(conf)方法 其中startAllComponents(conf)方法有一个this.loadMonitoring();来启动监控方法loadMonitorin...
Flume运维
weixin_42660202的博客
08-08 4083
Flume使用与监控
Flume：监控端口数据官方案例
程序员无羡的博客
07-20 386
Flume：监控端口数据官方案例
Flume日志收集
weixin_33828101的博客
05-25 346
一、Flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 设计目标： (1) 可靠性 当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数据agent首先...
flume监听端口
xiaoliuxxs
09-10 507
第二讲
Flume详解与安装部署教程
01-07
1、Flume概述 在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的...
flume安装程序
12-10
请解压后再用，flume-1.6.0-bin.tar 安装包，希望对大家有用。
Flume学习文档(2){Flume安装部署、Flume配置文件}.docx
07-27
Flume学习文档(2){Flume安装部署、Flume配置文件}。 记录我的学习之旅，每份文档倾心倾力，带我成我大牛，回头观望满脸笑意，望大家多多给予意见，有问题或错误，请联系 我将及时改正；借鉴文章标明出处，谢谢
flume配置文件案例
09-27
flume配置文件，文件配了说明，可以拿下来改一改就用。 可以获取端口数据监听或者文件、文件夹内容监听，实时写入hdfs、mysql或者你需要的路径。
flume安装配置
11-06
1.flume是什么？ 这里简单介绍一下，它是Cloudera的一个产品 2.flume是干什么的？ 收集日志的 3.flume如何搜集日志？ 我们把flume比作情报人员 （1）搜集信息 （2）获取记忆信息 （3）传递报告间谍信息
Flume监听端口，输出端口数据案例
栗筝i的博客
06-27 1967
1、在flume目录下新建/myconf目录,并在目录下新建socket-console.conf 文件！ mkdir myconf cd myconf touch socket-console.conf 2、编辑文件vim socket-console.conf，添加以下内容： # 定义这个agent中各组件的名字 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # 描述和配置source组件：r1 a1.sources.r1.type = netcat
flume监听端口整合kafka以及相关错误
希夷的博客
07-24 1936
之前的http.conf: #savecontenttofile agent2.sources=httpSrc agent2.channels=channel agent2.sinks=sink agent2.sources.httpSrc.type=http agent2.sources.httpSrc.bind=172.16.90.61 agent2.sources.ht
Flume经典案例之监控端口数据（保姆级教程）
wanjialin的博客
12-26 689
准备工作： 1、安装netcat工具 命令yum install -y nc 2、本次监听的端口是44444，检查端口是否被占用 命令netstat -tunlp | grep 44444 操作步骤： 1、创建配置文件netcat-flume-logger.conf 内容如下： a1.sources=r1 a1.channels=c1 a1.sinks=k1 a1.sources.r1.type=netcat a1.sources.r1.bind=localhost a1.sources.r1.port=
flume master服务监听端口总结
竹叶青 的专栏
11-25 4704
flume master启动时监听的端口： 35871：flume web服务监听端口 2011-11-22 00:40:00,261 [main] INFO mortbay.log: Started SelectChannelConnector@0.0.0.0:35871 35872：control server监听端口，主要用于ClientServerThrift 2011-11-22
Flume部署、原理和使用介绍（超详细）
最新发布
weixin_43977307的博客
05-30 681
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。
flume安装与配置
08-03
Flume是Cloudera提供的日志收集系统，用于收集和传输海量日志数据。安装和配置Flume的步骤如下： 1. 首先，在Flume的安装目录下找到配置文件模板flume-env.sh.template，并将其重命名为flume-env.sh。可以使用命令"mv flume-env.sh.template flume-env.sh"来进行重命名。[1] 2. 解压Flume的压缩包，并进入解压后的目录。 3. 配置Flume，可以根据具体需求修改flume-env.sh文件中的配置参数。例如，可以设置Flume的日志存储路径、数据发送方等。[2] 4. 完成配置后，可以进行Flume的测试。可以使用命令"bin/flume-ng agent -n agent_name -c conf -f conf/flume.conf -Dflume.root.logger=INFO,console"来启动Flume agent，并指定配置文件的路径。[3] 通过以上步骤，就可以完成Flume的安装和配置。安装和配置Flume可以为后续的日志数据采集和处理提供基础。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值