fileBeat访问kafka失败，通过host绑定 hostIP及hostName 解决

最新推荐文章于 2022-04-30 11:47:03 发布
最新推荐文章于 2022-04-30 11:47:03 发布
阅读量1.2k 收藏
点赞数
分类专栏： ELK
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014154117/article/details/107773015
版权

这几天测试elk，发现当kafka和filebeat在同一台机器上时是能够跑通的，但在另一台机器上部署kafka就访问不到了，后经查阅，原因如下：filebeat解析的时候要解析到主机名，报错信息如下：

 

 

解决方式：

在C:\Windows\System32\drivers\etc\hosts文件中添加部署了kafka的主机IP及主机名，使fileBeat能够识别该主机，操作如下：

 

 

 

一世传神
关注
专栏目录
基于Kafka-Zookeeper-Nginx-FIlebeat-MySQL的日志清洗分析平台搭建
weixin_52144789的博客
08-03 764
解释一下消息中间件：消息队列是分布式系统中重要的中间件，在实现系统高性能，高可用，可伸缩性和最终一致性架构框架中扮演着重要角色。是大型分布式系统不可缺少的核心中间件之一。kafka消息中间件：kafka是一个高吞吐的分布式消息队列系统。特点是生产者消费者模式，先进先出（FIFO）保证顺序，自己不丢数据，默认每隔7天清理数据。消息列队常见场景：系统之间解耦合、峰值压力缓冲、异步通信。日志收集、业务解耦、流量削峰允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。...
kafka内网网同时访问配置
carcoon的专栏
02-19 2224
有3台kafka集群broker，以下ip地址均属杜撰，仅仅做举例用 hostname 内网ip 外网Ip kafka1 192.168.1.201 139.28.39.101 kafka2 192.168.1.202 139.28.39.102 kafka3 192.168.1.203 139.28.39.103 方法1 配置hosts方式 本来kafka集群配置的listener参数如下: # The address the socket server listens on.
Filebeat 传输数据到Kafka无法连接
12-31 2806
最近开始研究ELK，准备做个日志系统，数据采集使用Filebeat组件，输出源配好kafka后，启动filebeat报如下日志： 2020-12-31T13:54:53.203+0800 INFO kafka/log.go:53 client/metadata fetching metadata for [flink-log-test] from broker 172.30.79.135:6667 2020-12-31T13:54:53.204+0800 INFO kafka/
filebeat向kafka传输数据，无数据现象
weixin_30445169的博客
07-22 907
通过netstat 能够看到filebeat确实是有向kafka传输数据， filebeat 日志显示 那就需要修改 /etc/hosts文件 将kafka主机的名字和ip写入filebeat主机的hosts文件中。 转载于:https://www.cnblogs.com/liuYGoo/p/11226272.html...
filebeat 抓取数据无法上传到 kafka
hjxisking的专栏
01-28 1816
在配置filebeat抓取nginx日志到kafka的时候遇到个问题，无法将数据传输给kafka，虽然hosts指定了3个broker的ip，但是依然无效 最终通过尝试发现，虽然这边指定了broker的ip，但猜测还是会和zk通信并获取到其他broker的hostname（配置kafka的时候server.properties中listeners和advertised.listeners都是配置的hostname，且hostname是通过/etc/hosts绑定的，非真实域名可访问），而不是ip，所以fi
Filebeat 连接Kafka 失败
ms
09-24 345
listeners=PLAINTEXT://:9092 advertised.listeners=PLAINTEXT://49.233.12.166:9092
filebeat获取的机器的ip
Ken的专栏
01-25 6311
filebeat获取的机器的ipfilebeat获取的机器的ip？ filebeat获取的机器的ip？ filebeat的host相关的字段，获取的机器的hostname，能否获取ip？ 官方是支持的，但是没有正式发布 链接: https://www.elastic.co/guide/en/beats/filebeat/current/add-host-metadata.html. ...
Kafka集群无法外网访问问题解决攻略
热门推荐
fengcai19的专栏
01-23 2万+
Kafka集群无法外网访问问题解决方法 讲解本地Consumer和Producer无法使用远程Kafka服务器的处理办法服务搭建好kafka服务后，本机测试ok，外面机器却无法访问，很是怪异。环境说明： kafka服务器： 阿里云VPC网络服务器，内网ip：10.10.10.10，绑定的弹性ip（外网ip）x.x.x.x，是单机测试环境，zk和kafka都在一台机器上，使用默认端口，kakfa
为什么kafka客户端需要配置 /etc/hosts文件
Vision
01-21 6616
问题背景 前段时间，遇到一个kafka集群部署在k8s中，而kafka客户端在另一个k8s集群的pod的容器中，kafka集群中配置的advertised_listeners便是hostname。然而当时我只知道kafka集群的ip地址，当在客户端直接使用ip操作broker的时候便报错无法解析一个hostname。 当时不知道什么原因，只听同事说需要在kafka客户端对应的yaml文件中添加H...
记filebeat内存泄漏问题分析及调优
点火三周的专栏
11-26 1万+
ELK 从发布5.0之后加入了beats套件之后，就改名叫做elastic stack了。beats是一组轻量级的软件，给我们提供了简便，快捷的方式来实时收集、丰富更多的数据用以支撑我们的分析。但由于beats都需要安装在ELK集群之外，在宿主机之上，其对宿主机的性能的影响往往成为了考量其是否能被使用的关键，而不是它到底提供了什么样的功能。因为业务的稳定运行才是核心KPI，而其他因运维而生的数据...
logstah处理filebeat的beat字段--- beat.hostname beat.name beat.version
很长很长的专栏
03-29 5423
最近有个需求 需要把filebeat推过来的数据进行处理，其中有个beat字段，里面的信息需要进行提取 在kibana里面展示会变成 beat.name beat.hostname "beat": { "hostname": "gz", "name": "gz", "version": "5.2.0" } 查阅了一些资料之后发现
kafka连接后使用的是主机名导致连接失败
s332755645的博客
05-03 6494
当Kafka broker启动时，它会在ZK上注册自己的IP和端口号，客户端就通过这个IP和端口号来连接。在AWS这种IaaS环境下，由于java.net.InetAddress.getCanonicalHostName调用拿到的HostName是主机名，所以默认注册到ZK上的是主机名需要配置server.propertiesadvertised.listeners=PLAINTEXT://192...
【ELK】FileBeat配置说明
没枕头我咋睡觉
09-03 400
Filebeat Configuration Example ############### Filebeat ############# filebeat: # List of prospectors to fetch data. prospectors: - # paths指定要监控的日志 paths: - /var/log/*.log #指定被监控的文件的编码类型使用plain和utf-8都是可以处理中文日志.
filebeat配置与原理图
hello8801的专栏
01-06 679
一、FileBeat原理 日志采集器有很多，比如Logstash,功能虽然强大，但是它依赖java、在数据量大的时候，Logstash进程会消耗过多的系统资源，这将严重影响业务系统的性能，而filebeat就是一个完美的替代者，它基于Go语言没有任何依赖，配置文件简单，格式明了，同时，filebeat比logstash更加轻量级，所以占用系统资源极少，非常适合安装在生产机器上。这就是推荐使用fi...
kafka单节点部署无法访问问题解决
weixin_30236595的博客
03-09 735
场景：在笔记本安装了一台虚拟机， 在本地的虚拟机上部署了一个kafka服务： 写了一个测试程序，在笔记本上运行测试程序，访问虚拟机上的kafka，报如下异常： 2015-01-15 09:33:26 [kafka.producer.async.DefaultEventHandler]-[INFO] Back off for 100 ms before retrying send...
kafka- elk-filebeat 日志收集
面朝大海，春暖花开
04-30 1148
kafka - 集成 elk+filebeat 日志收集 基于 elasticsearch 7.x 什么是 ELK ? ELK: Elasticsearch + Logstash + Kibana Logstash: 日志读取 FileBeat： 比 Logstash 更轻量级 日志收集流程 流程: fileBeat 从各节点读取日志文件 fileBeat 将日志写入 kafka logstash 从 kafka 订阅 日志 logstash 将日志写入 elasticsearch kibana 展示
Filebeat6.31整合Kafka集群消息队列（三）
weixin_30654583的博客
08-16 733
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.3.2-linux-x86_64.tar.gz [root@es-node1 ~]# tar zxvf filebeat-6.3.2-linux-x86_64.tar.gz -C /usr/local/ # mv /usr/local/filebeat...
filebeat
wjandy0211的博客
09-08 2084
filebeat是什么，可以用来干嘛 filebeat的原理是怎样的，怎么构成的 filebeat应该怎么玩 回到顶部 一、filebeat是什么 1.1、filebeat和beats的关系 　　首先filebeat是Beats中的一员。 　　Beats在是一个轻量级日志采集器，其实Beats家族有6个成员，早期的ELK架构中使用Logstash收集、解析日志，但是Logstash对内存、cpu、io等资源消耗比较高。相比Logstash，Beats所占系统的CPU和内存几乎可以忽略不计。 目
filebeat使用kafka作为input（filebeat从kafka中读取数据）报错解决
soulfire的博客
12-16 3302
项目场景： filebeat 7.10 kafka 0.11 windows 10 filebeat使用kafka作为input，从kafka读取数据到ElasticSearch 官方文档 问题描述： 根据kafka input 官方文档配置好filebeat.yml，并启动filbeat从指定kafka的某topic读取数据。 kafka的配置是正常的，已经在其它环境尝试过生产\消费数据。 filbeat报如下错误： ERROR [kafka input] kafka/input.go:155
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值