hadoop ha模式下的flume配置（并非flume ha）

于 2021-12-28 17:15:05 发布
阅读量1k 收藏 4
点赞数 3
文章标签： hadoop flume big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42513086/article/details/122197326
版权

hadoop ha模式下的flume配置

  在学习flume的时候由于已经配置了Hadoop的ha模式，导致flume在sink的时候找不到namenode地址，无法存储信息的问题

已解决，特此记录

第一步

将hadoop集群中/hadoop根目录/etc/hadoop/hdfs-site.xml和core-site.xml

在这里插入图片描述

复制到flume根目录/conf下
在这里插入图片描述

第二步

查看自己ha配置集群名称，即core-site.xml中的fs.defaultFS
在这里插入图片描述

改变flume配置文件 *.conf，我的文件的名字是flume-file-hdfs.conf中的sink中的配置

在这里插入图片描述
将自己的集群名称替代上图中画圈部分即可

爱蹦跶的小贺
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
flume搜集数据到hadoop HA可能出现的问题及解决办法
蘑菇丁的专栏
11-20 917
把Hadoop集群的hdfs-site.xml、core-site.xml两个配置文件复制到 flume安装目录的conf目录去，把hadoop-hdfs-2.7.1.jar复制到 Flume  lib目录。 ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)] process fail...
在hadoopHA节点上部署flume高可用组件
pysense的博客
11-24 986
文章目录前言1、flume 的基本介绍1.1 基本介绍1.2 数据流模型2、flume的配置文件说明2.1 配置过程3、单点flume agent测试3.1 基本安装3.2 启动flume agent进程3.3 将source.type配成tail F4、flume高可用配置4.1 三个agent的flume配置4.2 配置 collector 前言 前面的blog已实现了hadoopHA的项...
HDFS集群+HBase+Flume+Sqoop+MySQL+Hive插件的搭建部署
Joseph25的博客
05-02 1287
安装linux环境 一、防火墙 1、关闭防火墙 ]# service iptables stop 2、从开机启动项中关闭防火墙 ]# chkconfig iptables off 3、查看防火墙状态 ]# service iptables status 4、查看防火墙的开机状态 ]# chkconfig --list | grep iptables //其余两台机器重复上述操作......
flume与hdfs集成排雷指南
半斤米粉闯天下的博客
02-20 1357
先说一下环境，flume 1.9.0，hadoop 3.2.1，兼容没有问题，官方文档没什么好说的，足够详细，每一项后面都附带有例子，好评。但是在配置sink to hdfs的时候足足趟了不少雷，记录下来希望可以帮到更多的人。 错误最常见的还是java.lang.NoClassDefFoundError异常，出现这个提示100%是因为flume缺少相应的组件包，下面分别说一下缺少的内容，找到对应...
flume消费kafka数据太慢_flume 一款数据流日志传输工具，常见问题原因和解决方法...
weixin_39919165的博客
11-21 2913
flume 是分布式，高可靠 ，高可用，基于流式数据，强健性 ，高容错 ，故障转移与自动恢复，多数据来源接口，上手简单，一个集收集，聚合，移动大规模日志数据的服务。官网下载地址 http://flume.apache.org/download.html今天介绍以flume1.9.0版本为例系统需求： 1、java 1.8 or later 2、足够的内存 3、足够的磁盘空间 4、机器的读写权限下载...
Flume配置双HA hdfsSink.docx
06-17
通过修改flume源码实现flume向两个HA hadoop集群分发数据。
flume配置双HA hdfsSink源码修改实现
09-29
通过修改flume源码实现flume向两个HA hadoop集群分发数据。
spark环境安装(Hadoop HA+Hbase+phoneix+kafka+flume+zookeeper+spark+scala)
12-06
apache-flume-1.8.0-bin.tar.gz apache-phoenix-4.13.0-HBase-1.3-bin.tar.gz hadoop-2.7.4.tar.gz hbase-1.3.1-bin.tar.gz jdk-8u144-linux-x64.tar.gz kafka_2.12-1.0.0.tgz scala-2.12.4.tar.gz scala-2.12.4.tgz...
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
1、内容概要：Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南（详细搭建步骤+实践过程问题总结）。 2、适合人群：大数据运维、大数据相关技术及组件初学者。 3、...
hadoop生态系统搭建
12-04
本人写的大数据平台搭建教程，包含基于hive的离线分析、基于storm的实时分析、包含solrcloud和hbase的搜索架构等基础组件的配置及整合
Hadoop中Flume安装指南
09-28
Hadoop中的Flume安装指南，不会的童鞋可以下载哦，有助于学习
flume上传日志到ha hadoop hdfs上
www.hohode.com
02-13 2280
将hadoop集群的core-site.xml和hdfs-site.xml放在flume的conf目录下 For HA, you must use the HA service name, such as hdfs://nameservice1/user/foo instead of hdfs://namenode-host:8020/user/foo. This will protect y
均衡负载方式搭建高可用的flume-ng环境写入信息到hadoop和kafka
小麒麟的成长之路
09-14 2903
应用场景为多台agent推送本地日志信息到hadoop，由于agent和hadoop集群处在不同的网段，数据量较大时可能出现网络压力较大的情况，所以我们在hadoop一侧的网段中部署了两台flume collector机器，将agent的数据发送到collector上进行分流，分成2个collector的数据导入hadoop，数据流图如下： 图中只画了3个agent，实际应用场景中有多台
flume 一对多hdfs_flume介绍
weixin_42463480的博客
12-27 260
https://flume.liyifeng.org/一、flume是什么Apache Flume是Apache软件基金会（ASF）的顶级项目，目前有两个发行版本，0.9.x和1.xApache Flume is a distributed, reliable, and available system for efficiently collecting, aggregating and mov...
Hadoop环境配置（10）--flume环境配置
Gaxxxx的博客
12-14 194
一、解压 cd /usr/local/soft tar -zxvf apache-flume-1.9.0-bin.tar.gz 二、添加系统环境变量(需配置Java JDK系统参数) vi /etc/profile export FLUME_HOME=/opt/software/ export PATH=$PATH:$FLUME_HOME/bin source /etc/profile重启 三、修改Flume环境变量 cd /usr/local/soft/apache-f
hadoop的Flume配置
weixin_59601631的博客
12-08 278
hadoop的Flume配置
flume 设置 ‘HA‘模式
javaMylife的博客
03-03 290
上游每个flume都配两个sink，而且这两个作为一个组，组策略为fail over processor（失败切换另一个avro-sink） 下游收集者，配置两个flume，一个作为主，一个作为备， 而且上游的 主avro-sink发送到 主avro-source备avro-sink发送到 备avro-source，那么，万一下游汇聚者1 主avro-sources 挂掉了，上游的avro-sink会自动切换到备avro-sink，备avro-source开始工作 这就是flume通过配置实现H...
Linux下Hadoop+Flume的日志系统搭建
Royi的博客
10-26 2374
一. 简介 Apache Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。可以让用户在不了解分布式底层细节的情况下，开发出可靠、可扩展的分布式计算应用。 Apache Hadoop 框架，允许用户使用简单的编程模型来实现计算机集群的大型数据集的分布式处理。它的目的是支持从单一服务器到上千台机器的扩展，充分利用了每台机器所提供本地计算和存储，而不是依靠硬件来提供高可用性。...
HadoopHA集群部署、HDFSHA配置、启动与验证教学课件.pptx
06-20
1. **任务一：修改core-site.xml配置** - 在Hadoop的配置目录下，用户需登录到master节点作为hadoop用户，并更新`core-site.xml`文件。关键配置包括： - 设置`fs.defaultFS`指向HDFS HA的逻辑名称，如`hdfs://myha`...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值