graylog 集群搭建

最新推荐文章于 2024-09-21 23:24:52 发布
最新推荐文章于 2024-09-21 23:24:52 发布
阅读量867 收藏 3
点赞数
分类专栏： Linux Modules 文章标签： es linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lovely_red_scarf/article/details/117809524
版权

es集群搭建

  • 使用华为云下载速度全面：https://mirrors.huaweicloud.com/elasticsearch/
wget https://mirrors.huaweicloud.com/elasticsearch/7.10.0/elasticsearch-7.10.0-linux-x86_64.tar.gz
tar -zxvf elasticsearch-7.10.0-linux-x86_64.tar.gz

在这里插入图片描述

  • 将安装包移动到/etc/目录下
mv  elasticsearch-6.4.3 /etc/
  • 修改es的启动参数为本机内存的一半（根据你的实际需要来做）
  • 将es安装目录的 config/jvm.options
  • 这个jvm.options用来配置各种jvm参数，比如GC、GC logging、heap dumps等。
vim /etc/elasticsearch-6.4.3/config/jvm.options 
修改为：
-Xms4g
-Xmx4g

在这里插入图片描述

  • 创建es数据目录
mkdir -p /etc/elasticsearch-6.4.3/data
  • 因为es不能使用root启动所以创建启动用户
useradd es
chmod -R 
chown -R es:es /etc/elasticsearch-6.4.3/ 将es安装目录赋予es用户

es配置详解

  • 配置集群的名称 cluster.name
    一个节点只有与集群中的所有其他节点拥有相同的 master.name 时才能加入集群。默认的集群名称是 elasticsearch，最好是设置为合适的名字，否则可能和现有的集群同名。下面的配置把集群命名为:graylog
cluster.name: graylog
  • 配置节点的名称
  • 如果不设置节点的名称 node.name，默认情况下，Elasticsearch 将使用随机生成的 UUID 的前七个字符作为节点的 ID，并且这个随机的字符串会被持久化下来，即使重启系统也不会丢失。但是为了提高系统的可读性，我们最好是为每个节点设置一个合适的名字：
node.name: graylog01

或者是干脆设置为主机的名称： node.name: hostname

  • 列出集群中的所有节点
  • Elasticsearch 自己实现了一个名称为 “Zen Discovery” 的发现节点并从集群的节点间选取主节点的功能。在集群的配置中一定要配置两个与 “Zen Discovery” 相关的配置项，其中的一个为 discovery.zen.ping.unicast.hosts。
  • 在不进行任何网络配置的情况下，Elasticsearch 将绑定到可用的环回地址，并扫描端口 9300 到 9305，以尝试连接到同一服务器上运行的其他节点。这提供了一种无需进行任何配置的自动集群体验。当需要在其他服务器上使用节点组成集群时，必须通过 discovery.zen.ping.unicast.hosts 提供集群中其他节点的列表：
discovery.zen.ping.unicast.hosts: ["192.168.79.210:9300", "192.168.72.159:9300","192.168.72.160:9300"]

除了 IP 地址，这里也可以使用主机名(hostname)。

  • 配置最小 master 节点数
  • 另一个必须要设置的 “Zen Discovery” 相关的配置项为 discovery.zen.minimum_master_nodes。它的默认值是1，该属性定义的是为了组成一个集群，相互连接的候选主结点的最小数目，强烈推荐该属性的设置使用多数原则：(master_eligible_nodes / 2) + 1，既能避免出现脑裂(split-brain)，又能在故障发生后，快速选举出新的主结点。例如：有 5 个候选主结点，推荐把该属性设置为 3。由于本文演示的 demo 中只有两个节点，因此把该值设置为 1：
# node-1
node.name: node-1
node.master: true
node.data: true
path.data: /opt/data/elasticsearch
path.logs: /opt/logs/elasticsearch
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
network.host: 0.0.0.0
discovery.seed_hosts: ["172.16.72.160", "172.16.72.159","172.16.79.210"]
cluster.initial_master_nodes: ["172.16.72.160"]
http.cors.enabled: true
http.cors.allow-origin: "*"

# node-2
node.name: node-2
node.master: true
node.data: true
path.data: /opt/data/elasticsearch
path.logs: /opt/logs/elasticsearch
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
network.host: 0.0.0.0
discovery.seed_hosts: ["172.16.72.160", "172.16.72.159","172.16.79.210"]
cluster.initial_master_nodes: ["172.16.72.160"]
http.cors.enabled: true
http.cors.allow-origin: "*"

# node-3
node.name: node-3
node.master: true
node.data: true
path.data: /opt/data/elasticsearch
path.logs: /opt/logs/elasticsearch
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
network.host: 0.0.0.0
discovery.seed_hosts: ["172.16.72.160", "172.16.72.159","172.16.79.210"]
cluster.initial_master_nodes: ["172.16.72.160"]
http.cors.enabled: true
http.cors.allow-origin: "*"

修改/etc/sysctl.conf

  • vim /etc/sysctl.conf 在文件最后一行加入以下配置
vm.max_map_count=262144

然后让配置生效

sysctl -p

启动报错

  • 是因为你的 /etc/sysctl.conf 未加入vm.max_map_count=262144在这里插入图片描述

Graylog

  • graylog官网下载地址: https://www.graylog.org/releases
  • 选择你需要的版本
    我这里选择4.0.7
    在这里插入图片描述
  • 复制版本的server地址然后进入服务器wget下载

在这里插入图片描述

下载graylog

wget https://downloads.graylog.org/releases/graylog/graylog-4.0.7.tgz

在这里插入图片描述

tar -zxvf  graylog-4.0.7.tgz

Graylog多节点配置

  • 官方文档:https://docs.graylog.org/en/4.0/pages/configuration/server.conf.html
    然后进入解压好的graylog目录中修改graylog.conf.example
    在这里插入图片描述

#时区
root_timezone = Asia/Shanghai
#pssworde_secret可以通过命令：pwgen -N 1 -s 96 来随机生成，下面就是我随机生成的
password_secret =UQUOMnZvVGCUsEc5u8tYCCnBjMvtiAQfYOmTcXhGdie8R5OZ7Xxx6WycyWdsqA7IWIF4TjCCQEY0xnvhmvMSb4OqG3LvdQUg
# 生成后，请记住你的 YourPassword
#echo -n "Enter Password: " && head -1 </dev/stdin | tr -d '\n' | sha256sum | cut -d" " -f1
root_password_sha2 =1b5c432b094de3ff79b9296d09347841f38b9cdbea019399c7ed54abba92e975
# elasticsearch 相关配置
elasticsearch_hosts = http://127.0.0.1:9200
elasticsearch_shards =1  
elasticsearch_replicas = 0
# mongodb 连接配置，这里直接本机起的mongodb，没有设置验证
mongodb_uri = mongodb://localhost/graylog
# 网络访问相关，重要，graylog3比2.x版本简洁了很多网络配置，只需配置http_bind_address即可。
http_bind_address = 0.0.0.0:9000

修改配置文件
因为graylog安装bin目录下，默认启动配置文件

在这里插入图片描述
配置文件路径 /etc/graylog/server/server.conf
所以需要将graylog.conf.example 复制到/etc/graylog/server/目录下，并改名为server.conf
执行命令

mkdir -p /etc/graylog/server/

启动GRAYLOG
进入graylog目录的bin目录下

./graylogctl start

查看Graylog运行日志

 tail -200f log/graylog-server.log

使用ip:9000 进行访问可获得graylog的web界面

在graylog安装目录下执行
在这里插入图片描述

在这里插入图片描述

  • 是因为你的集群还有剩余节点未启动造成的
  • 也或者是你的es集群有部分节点未启动造成的
Lovely_red_scarf
关注
专栏目录
graylog4.0 集群搭建
Lovely_red_scarf的博客
06-16 1068
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、安装准备？二、部署步骤1.前置工作1:关闭服务器防火墙三.安装mongodb数据库1： MongoDB的用途是什么？四 Elasticsearch集群搭建1: es下载2:创建es数据目录3:修改es集群配置1：修改es安装目录下的config/jvm.options2：
Graylog日志系统搭建-Multiple Server
xu6964347的专栏
04-20 1186
最小化安装Graylog，即将所有服务部署在同一台服务器，因为缺乏冗余及性能问题，该方式只适用于对Graylog的测试；为了能够支持较大的生产环境正式适用，可以将不同组件部署在不同服务器形成集群，提升高可用性及Graylog性能。 本次环境包含以下部分：Elasticsearch部署在三台服务器形成集群，Graylog服务使用另外三台服务器形成集群，在部署有Graylog服务的服务器分别部署Mo...
graylog集群(es+mongo+graylog-sidecar+nginx负载均衡) 全docker配置（3节点）
疯飙的蜗牛
08-12 5019
全 docker 部署 graylog 4.3 版本 集群 ， 配置文件挂载方便修改 es + mongo + graylog (3台 做集群） nginx 负载均衡
Graylog 部署文档_graylog部署
最新发布
2401_87298624的博客
09-21 452
添加 input 测试收集是否正常，system→inputs→select input→Raw/Plaintext TCP→Launch new input，选择 Node，添加 Title，点击 Save 即可。各组件版本选型分别是：elasticsearch-6.6.2、mongodb-4.0、graylog-3.0.0、openjdk1.8.0_181 等。此次部署既要满足测试功能，又要能够对生产环境下的架构有清楚认识，决定先部署一台单节点的最小化 graylog，然后再扩展加入集群。
graylog源码搭建
weixin_42478365的博客
07-14 790
这里值讲如何源码安装graylog。
基于Docker搭建Graylog分布式日志采集系统
weixin_44876263的博客
08-28 1922
Graylog是一个开源的日志管理工具，主要功能包括日志收集、解析、存储、搜索和可视化。它可以从各种数据源（如应用程序、系统和网络设备）收集日志，通过内置的解析器将日志格式化并存储在数据库中。用户可以使用其强大的搜索功能快速查找特定日志，设置告警规则以监控关键事件，且支持创建自定义仪表板和图表以可视化数据。这样，Graylog帮助用户实时监控系统健康，快速定位问题源，并进行深入分析。部署 graylog 最简单的架构就是单机部署，复杂的就是部署集群模式，架构图如下所示。
日志平台--graylog搭建、nginx代理
菜鸟运维升级之路
11-11 1609
接上篇文章内容，本章主要以graylog高可用的搭建为主，详细内容如下~Graylog是一款开源的日志管理和分析平台，可以用于收集、存储和分析各种类型的日志数据。
graylog-server-3.3.9-1.noarch.zip
01-04
Graylog还支持与其他工具集成，如通过GELF或 syslog 接收日志，使用插件扩展功能，以及搭建高可用集群等高级应用场景。 总之，Graylog 3.3.9提供了一个强大且灵活的日志管理解决方案，通过其丰富的功能和直观的界面...
Graylog 指南 - 部署篇（Centos 7+ Graylog 3 + Elasticsearch 6.5）
十忆九非的碎碎念
04-28 4370
由于公司需求，因此搭建了一台graylog用于测试，后续陆陆续续研究了下elk，并将elk通graylog进行整合，这里分享一点自己的经验
filebeat+kafka+graylog+es+mongodb可视化日志详解
wx_17600131438
03-18 4267
graylog 是一个开源的专业的日志聚合、分析、审计、展示、预警的工具，跟 ELK 很相似，但是更简单，下面说一说 graylog 如何部署，使用，以及对 graylog 的工作流程做一个简单的梳理 本文篇幅比较长，一共使用了三台机器，这三台机器上部署了 kafka 集群(2.3)，es 集群(7.11.2)，MongoDB 副本集(4.2)，还有 graylog 集群(4.0.2)，搜集的日志是 k8s 的日志，使用 DaemonSet 的方式通过 filebeat(7.11.2)将日志搜集到 ka.
Graylog日志收集分析系统部署记录
Tomoyolq的专栏
06-25 4225
一.框架描述       框架使用rsylog+kafka+graylog+elasticsearch技术，其中rsyslog作为日志转发和分解工具，kafka作为日志暂存队列和缓存工具，graylog则作为日志流处理以及查询工具，elasticsearch作为日志索引和存储。       首先，rsyslog可以通过不同的输入组件来抓取或接收日志，目前提供的并且有可能使用到的方式包括：tcp、u...
Graylog集群环境搭建
huixueyi的博客
07-19 3416
本次多节点环境部署示例是基于centos7.2进行，由于资源有限，将ES与Graylog和MongoDB部署在同一台server上。以下内容仅供参考，正式生产环境根据需要进行调整。 前置条件 准备三个节点，系统版本为centos7.2。 Ip Hostname 192.168.2.121 graylogNode1 192.168.2.122 g...
Graylog 部署文档_graylog部署，2024年最新网络安全快速转战Kotlin教程
2301_82242296的博客
04-17 1355
添加 input 测试收集是否正常，system→inputs→select input→Raw/Plaintext TCP→Launch new input，选择 Node，添加 Title，点击 Save 即可。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。，朋友们如果有需要全套《网络安全入门+黑客进阶学习资源包》，可以扫描下方二维码领取（如遇扫码问题，可以在评论区留言领取哦）~需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注网络安全）
graylog集群搭建（mongodb+elasticsearch+graylog）-自定义
Fupengyao的博客
06-17 2669
Graylog官方架构图 参考 https://cloud.tencent.com/developer/article/1628850 https://www.jianshu.com/p/6c88d749c725 https://www.cnblogs.com/levi125/p/13685855.html#Graylog%E9%9B%86%E7%BE%A4%E5%AE%89%E8%A3%85 https://docs.graylog.org/en/3.2/pages/architect.
日志管理系统Graylog的集群部署
wujushan的博客
01-09 2899
系统架构 Load Balancer: 负载均衡 Graylog Server Cluster: 提供日志的Web管理功能和日志输入 MongoDB Replica Set: 存储Graylog相关的配置 Elasticsearch Cluster: 日志文件的持久化存储和检索 Graylog Cluster Graylog集群的安装部署如下表所示： VM IP Graylog S...
日志平台--graylog-web配置、接入微服务日志
菜鸟运维升级之路
11-11 7341
通过第三章内容，已成功搭建完成graylog,并且使用nginx实现了反向代理。因此在本章中，主要是针对graylog-web界面的熟悉、配置、微服务日志接入为目标，展开详细说明。以上就是今天要讲的内容，本文对graylog的界面操作做出了大量的讲解，并配合着graylog中的日志转换规则、清洗脚本等，对原本复杂的日志进行简单化处理，拿到自己想看到的日志字段。
SpringBoot整合Graylog做日志收集
BASK2311的博客
12-15 2344
本篇文章只是说明了Graylog的一个入门使用，进阶的玩法可能要后面才有时间整理了。不管用什么方案做日志收集，我认为只要简单易用，稳定靠谱就好，ELK作为当前主流的日志收集框架，除了部署麻烦些，耗费资源高些之外并没有明显短板，所以ELK也好，Graylog也罢，只要适合自己就可以。
Graylog 环境搭建与使用
weixin_30300225的博客
06-05 1259
Graylog 环境搭建与使用 graylog 官网地址：www.graylog.org graylog 简易架构图： graylog 生产架构图： graylog 有两个版本，1、企业版；2、开源版 下面使用开源版本搭建日志中心，graylog 安装方式有很多，开发、测试环境可以使用 docker 方...
使用docker 部署graylog集群
weixin_34393428的博客
06-18 1110
graylog 相比elk 有比较简单的方面，使用简单，配置简单，可视化工具是一体化的，比较方便 搭建使用docker，多主机部分，结合docker-compose 进行管理 具体docker 配置文件参考 http://docs.graylog.org/en/latest/pages/installation/docker.html 参考架构图 部署说明 ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Lovely_red_scarf

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值