filebeat使用公网收集数据到elasticsearch

itafeng

于 2021-07-29 21:05:11 发布

阅读量448

点赞数

分类专栏： java学习文章标签： filebeat elasticsearch es公网访问

本文链接：https://blog.csdn.net/haoxinqing9698/article/details/119220460

版权

该博客介绍了如何在数据采集服务与Elasticsearch不在同一网络的情况下，通过Nginx作为代理，使用HTTPS和客户端证书确保安全访问。首先，通过openssl创建证书并配置Nginx以开放HTTPS访问。然后，配置Filebeat使用这个HTTPS连接，并指定客户端证书和密码，以连接到Nginx。这样，即使Elasticsearch对外不可直接访问，也能保证数据传输的安全性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

目标

使用filebeat将数据通过公网传输到elasticsearch。

原因

要采集数据的服务与elasticsearch不再一个网络，要采集数据的服务必须通过公网才能访问到elasticsearch。

由于elasticsearch不建议直接对外开放外网访问，因此需要一定的安全机制。

解决方案

通过nginx代理访问elasticsearch，nginx上使用openssl制作证书，开放https访问，外网域名映射到nginx服务。

这样客户端使用https访问到es时必须有客户端证书才可以。可以很大程度上保证其安全性。

同时还需要对elasticsearch设置密码。

实施过程

1. 证书制作及nginx配置过程 https://blog.csdn.net/haoxinqing9698/article/details/119219386

2. filebeat配置

output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["自己的nginx域名:443"]
  index: "收集到的索引名"
  # Protocol - either `http` (default) or `https`.
  protocol: "https"

  # Authentication credentials - either API key or username/password.
  #api_key: "

最低0.47元/天解锁文章