Graylog日志监控集群搭建

最新推荐文章于 2024-06-25 09:38:36 发布
最新推荐文章于 2024-06-25 09:38:36 发布
阅读量566 收藏 1
点赞数
文章标签： 运维
原文链接：http://blog.51cto.com/10158955/2122090
版权

场景及日志量
由于公司是物联网场景，设备每10秒都会上报Gps数据，后端猿对每个每个上传数据的处理都加入了日志，加上后端猿用Quartz写了许多无状态的后台服务，每10s跑一次，而且有多个环境（开发，测试，线上环境）同时有日志写入，日志量大概在均值3000/s， 峰值5000/s。做了rotation后，3天的日志量在300G左右，最初的最小化安装已经无法支撑。
顺便分享下最小化安装的docker-compose.yml 参考
version: '2'
services:

MongoDB: https://hub.docker.com/_/mongo/

mongodb:
image: mongo:3
volumes:

  • mongo_data:/data/db

    Elasticsearch: https://www.elastic.co/guide/en/elasticsearch/reference/5.6/docker.html

    elasticsearch:

    虽然这个img下载有些慢，但是请一定用这个

    image: docker.elastic.co/elasticsearch/elasticsearch:5.6.3
    volumes:

  • es_data:/usr/share/elasticsearch/data
    environment:
  • http.host=0.0.0.0
  • transport.host=localhost
  • network.host=0.0.0.0

    Disable X-Pack security: https://www.elastic.co/guide/en/elasticsearch/reference/5.6/security-settings.html#general-security-settings

  • xpack.security.enabled=false
  • "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
    memlock:
    soft: -1
    hard: -1
    mem_limit: 1g

    Graylog: https://hub.docker.com/r/graylog/graylog/

    graylog:
    image: graylog/graylog:2.4.0-1
    volumes:

  • graylog_journal:/usr/share/graylog/data/journal
    environment:

    CHANGE ME!

  • GRAYLOG_PASSWORD_SECRET=somepasswordpepper

    Password: admin 生成方法：echo -n yourpassword | shasum -a 256

  • GRAYLOG_ROOT_PASSWORD_SHA2=8c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918
  • GRAYLOG_WEB_ENDPOINT_URI=http://127.0.0.1:9000/api
    links:
  • mongodb:mongo
  • elasticsearch
    depends_on:
  • mongodb
  • elasticsearch
    ports:

    Graylog web interface and REST API

  • 9000:9000

    Syslog TCP

  • 514:514

    Syslog UDP

  • 514:514/udp

    GELF TCP

  • 12201:12201

    GELF UDP

  • 12201:12201/udp

    Volumes for persisting data, see https://docs.docker.com/engine/admin/volumes/volumes/

    volumes:
    mongo_data:
    driver: local
    es_data:
    driver: local
    graylog_journal:
    driver: local
    使用心得
    使用前，请务必看下Architectural，了解下设计理念。
    • Graylog nodes should have a focus on CPU power. These also serve the user interface to the browser.
    • Elasticsearch nodes should have as much RAM as possible and the fastest disks you can get. Everything depends on I/O speed here.
    • MongoDB is storing meta information and configuration data and doesn’t need many resources.
    简单来说就是，Graylog用于采集日志写入Elasticsearch比较耗CPU，Elasticsearch比较耗RAM跟IO。知道这一点基本也就为后面调优确定了方向。
    三节点搭建步骤 参考
    准备工作（CentOS7.3）
    yum –y update
    yum install java-1.8.0-openjdk-headless.x86_64 #安装JDK
    MongoDB 3.6 replica set搭建
    首先每个node安装MongoDB

    1. 添加MongoDB软件源

      /etc/yum.repos.d/mongodb-org-3.6.repo

      [mongodb-org-3.6]
      name=MongoDB Repository
      baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.6/x86_64/
      gpgcheck=1
      enabled=1
      gpgkey=https://www.mongodb.org/static/pgp/server-3.6.asc

    2. 更新源并安装
      yum update -y && yum install -y mongodb-org
    3. 关键配置项

      MongoDB数据放在非系统目录

      添加目录权限 chown -R mongod:mongod /data/mongo

      storage:
      dbPath: /data/mongo

配置MongoDB repliSetName

replication:
replSetName: repl

配置bindIp,使用局域网Ip，保证该ip对于其他node可见

net:
port: 27017
bindIp: 192.168.168.242

  1. 启动MongoDB服务
    systemctl start mongod
  2. 初始化MongoDB replica set

    #start mongo shell and run
    rs.initiate( {
    _id : "rs0",
    members: [
    { _id: 0, host: "mongodb0.example.net:27017" },
    { _id: 1, host: "mongodb1.example.net:27017" },
    { _id: 2, host: "mongodb2.example.net:27017" }
    ]
    })

  3. 查看replica set配置
    rs.conf()
  4. 查看MongoDB replica set的Primary节点
    rs.status()
    Elasticsearch 5.6 集群搭建
  5. 导入Elasticsearch public GPG key
    #/etc/yum.repos.d/elasticsearch.repo
    [elasticsearch-5.x]
    name=Elasticsearch repository for 5.x packages
    baseurl=https://artifacts.elastic.co/packages/5.x/yum
    gpgcheck=1
    gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
    enabled=1
    autorefresh=1
    type=rpm-md
  6. Elasticsearch安装
    yum install elasticsearch
  7. Elasticsearch集群配置
    #/etc/elasticsearch/elasticsearch.yml

    集群各个instance的访问ip

    discovery.zen.ping.unicast.hosts: ["192.168.168.240", "192.168.168.241", "192.168.168.242"]

该节点的访问ip

network.host: 192.168.168.242

集群名称

cluster.name: ES_PROD

节点名称

node.name: ${HOSTNAME}

数据目录

mkdir -p /data/elasticsearch/data

chown -R elasticsearch:elasticsearch /data/elasticsearch

path.data: /data/elasticsearch/data

日志目录

mkdir -p /data/elasticsearch/logs

chown -R elasticsearch:elasticsearch /data/elasticsearch

path.logs: /data/elasticsearch/logs

  1. 编辑Elasticsearch系统服务
    #删除如下行
    -Edefault.path.logs=${LOG_DIR} \
    -Edefault.path.data=${DATA_DIR} \
  2. 启动服务
    systemctl start elasticsearch
  3. 健康检查
    curl -XGET 'http://192.168.168.240:9200/_cluster/state?pretty'
    Graylog 2.4 多节点搭建
    Graylog多节点搭建只需要保留一个instance用于web访问即可，日志可以配置写入不同node，当某个node压力过大，需要自行考虑手动将部分日志转到其他空闲node。（这一层的负载均衡待研究）
  4. Graylog 2.4 软件源安装
    rpm -Uvh https://packages.graylog2.org/repo/packages/graylog-2.4-repository_latest.rpm
  5. graylog-server安装
    yum install graylog-server
  6. graylog多节点配置

    多节点安转时保留一个节点为true，其他节点为false

    is_master = true

时区配置为上海时区

root_timezone = PRC

Password: admin 生成方法：echo -n yourpassword | shasum -a 256

password_secret = 8c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918

多节点模式时，要保证该ip可被其他节点访问

rest_listen_uri = http://192.168.168.242:9000/api/

默认同上

rest_transport_uri = http://192.168.168.242:9000/api/

配置外网访问的Base URL，使用nginx反代理的话可以配置为http://192.168.168.242:9000/

web_listen_uri = http://121.196.213.107:50089/

Elasticsearch集群host列表（逗号分隔）

elasticsearch_hosts = http://192.168.168.240:9200,http://192.168.168.241:9200,http://192.168.168.242:9200

配置只保留72小时的日志

elasticsearch_max_time_per_index = 1h
elasticsearch_max_number_of_indices = 72

MongoDB连接字符串

mongodb_uri = mongodb://192.168.168.242:27017,192.168.168.241:27017,192.168.168.240:27017/graylog?replicaSet=repl

  1. 调整Graylog JVM HeapSize
    #/etc/sysconfig/graylog-server
    GRAYLOG_SERVER_JAVA_OPTS="-Xms4g -Xmx4g -XX:NewRatio=1 -server -XX:+ResizeTLAB -XX:+UseConcMarkSweepGC -XX:+CMSConcurrentMTEnabled -XX:+CMSClassUnloadingEnabled -XX:+UseParNewGC -XX:-OmitStackTraceInFastThrow"
  2. 启动服务
    systemctl start graylog-server
    Nginx反向代理配置
  3. Nginx安装
    yum install nginx

  4. Nginx配置
    server
    {
    listen 50098 default_server;
    listen [::]:50098 default_server ipv6only=on;
    server_name 47.97.188.62:50098;

    location / {
    proxy_set_header Host $http_host;
    proxy_set_header X-Forwarded-Host $host;
    proxy_set_header X-Forwarded-Server $host;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header X-Graylog-Server-URL http://$server_name/api;
    proxy_pass http://192.168.168.242:9000;
    }
    }
    后期优化可以考虑的点

  5. 调大cpu，可增加消息处理速度
  6. 多开几个udp端口，可增加消息处理速度
  7. 调大Elasticsearch内存占用，增加缓冲，降低IO
  8. 更换更高效的磁盘

转载于:https://blog.51cto.com/10158955/2122090

weixin_34341229
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Graylog搭建配置详细（centos7）
weixin_42207486的博客
07-14 7046
Graylog搭建配置（centos7）一、基础环境1、需jdk环境： [root@iz2zee3zwuvnmai605c99vz ~]# java -version openjdk version "1.8.0_171" OpenJDK Runtime Environment (build 1.8.0_171-b10) OpenJDK 64-Bit Serve...
Graylog Syslog 输入无法在端口 514 上启动问题处理
allway2的博客
12-15 2697
可能你和我有同样的问题，所以让我澄清一下。当您以 root 身份运行 Graylog 时，您可以使用较低的端口，因为情况并非如此，我们如何解决这个问题？问题是将流量从不同的端口 1514 重定向到端口 514 UDP/TCP。 假设您正在使用两个输入流 ruben@graylog-v3:~$ sudo iptables -t nat -A PREROUTING -p tcp –dport 514 -j REDIRECT –to 1514 ruben@graylog-v3:~$sudo iptables.
graylog 集群搭建
Lovely_red_scarf的博客
06-11 825
es集群搭建 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.3.tar.gz tar -zxvf elasticsearch-6.4.3.tar.gz 将安装包移动到/etc/目录下 mv elasticsearch-6.4.3 /etc/ 修改es的启动参数为本机内存的一半（根据你的实际需要来做） 将es安装目录的 config/jvm.options vim /etc/elastic
**灰度日志管理利器—Graylog2：解析、监控与告警一站式解决方案**
最新发布
gitblog_00076的博客
06-25 371
灰度日志管理利器—Graylog2：解析、监控与告警一站式解决方案 项目地址:https://gitcode.com/mrlesmithjr/graylog2 在海量数据时代，高效处理和理解系统产生的日志变得至关重要。不论是运维人员还是开发团队，都需要一个强大且灵活的工具来应对这一挑战。Graylog2作为一款开源的日志聚合与分析平台，凭借其卓越的功能和易用性，在日志管理领域占据了一席之地。 项目...
Graylog单机版安装，Graylog安装脚本一键实现在线离线安装
这有一片海的博客
11-26 3746
本文介绍了Graylog单机版安装过程，以及graylog一键安装脚本，并记录了遇到了相关问题的解决方案。同时提供了Dokcer-compose的安装方式。
Graylog安装配置指南
OPS运动狂-JoyWang
10-15 7298
一、Garylog平台相关组件简介  Graylog-server：Graylog接收来自后端各种应用程序的日志并提供Web访问接口  Graylog Collector Sidecar：负责收集应用程序日志并发送至Graylog-server   Elasticsearch：用于索引和保存接收到的日志，性能依赖内存及硬盘IO  MongoDB：负责保存 Graylog 自身的配置信息，负...
SpringBoot使用Graylog日志收集的实现示例
08-26
- 系统架构包括Graylog服务器、MongoDB数据库和Elasticsearch集群，三者协同工作，提供高性能的日志解决方案。 2. **Graylog安装** - 安装Graylog有多种方法，如Docker、二进制包或虚拟机。本文以Docker Compose...
graylog日志检索系统调研.docx
04-26
Graylog 是一个强大的开源日志管理系统，用于收集、索引和分析来自各种来源的日志数据。它提供了一个直观的Web界面，使得用户可以方便地搜索、监控和分析大量日志数据。Graylog 通过集成Elasticsearch进行数据存储和...
graylog-sidecar部署脚本
11-11
该脚本是由shell语言编写完成，主要用于实现一键部署graylog-sidecar组件，其中包含了组件的cgroup限制、sidecar.yml文件的自动修改、开源组件的自动下载、完成部署时的提示及部署时长显示。并设置了该组件的...
collector-sidecar:通过Graylog管理日志收集器
05-04
Graylog Sidecar是第三方日志收集器（例如NXLog和filebeat）的管理程序。 Sidecar程序能够从Graylog服务器获取并验证各种日志收集器的配置文件。 您可以将其视为日志收集器的集中式配置和流程管理系统。 master...
Graylog免费和开源的日志管理
08-07
《Graylog：免费开源的日志管理利器》 在IT运维和数据分析领域，日志管理扮演着至关重要的角色。Graylog，作为一个免费且开源的日志管理工具，为用户提供了一种高效的方式来集中、聚合以及分析大量的日志数据。它以...
graylog3参数详解
PYJcsdn的博客
03-25 1421
is_matster: 如果您正在运行一个以上的Graylog服务器实例，您必须只选择一个Graylog -server节点作为主节点。此节点将执行从节点不会执行的定期维护操作。 每个从属节点将像主节点一样接受消息。如果集群中已经有一个主节点，则节点将退回到从属模式。 node_id_file：自动生成的节点ID将存储在此文件中，并在重新启动后读取。如果从init脚本或类似的地方启动Grayl...
GrayLog使用
IT界的奇葩
11-19 4017
文章目录一、docer安装二、Docker Compose安装三、创建目录/usr/local/graylog四、开始安装使用公开的数据目录启动所有服务：如果yml名称为graylog.yml则使用下面命令启动重启docker-compose restart五、springboot logback集成六、配置Graylog 一、docer安装 二、Docker Compose安装 第一种方式： curl -L "https://github.com/docker/compose/releases/dow
SpringBoot接入轻量级分布式日志框架（GrayLog）
uuqaz的博客
03-14 1377
00、为什么需要分布式日志组件？ 在文章正式开始之前，我分享下我以前负责过的一个系统，它的架构如下： 每次当我查问题的时候，我可能能把问题初步定位在逻辑层，但为了能给业务方交代，我需要给证据业务方看（日志信息就是铁证）。 一个请求肯定是被这8台机器内的某一台处理，但具体是哪一台，我不知道。所以，我需要上每台机器上grep一把日志，然后才能找出对应的日志证明我的分析。 有的时候，可能接入层也需要一起参与进去，就排查一个问题，人都傻了了（翻看日志的时间占用了太久了）。 后来啊，...
Graylog2+rsyslog+log4j 全过程日志管理环境搭建
money9sun的博客
05-12 1万+
笔者刚刚进入一家新公司，leader给我的第一个任务就是研究一下graylog2这个日志管理框架，目的要把我们java开发过程中的logger统一放到一起，便于排错。经过一周的研究，已经把整个环境搭建完成，现把整个过程记录如下： 第一步：安装Graylog2环境（CentOS7） 这里网上有很多的教程，直接看官网也是不错的，笔者绕了很大的圈子，最后是参...
mac上面获取文件的sha256值
fxtxz2的专栏
10-16 1848
shasum -a 256 1579507071347wjy3z.mp4 b409c885dcea82fcba037e6382694ba97b7d56e2ce9a40b20d7ae953884ae656 1579507071347wjy3z.mp4
shasum command not found
热门推荐
架构大师笔记
08-21 1万+
这个问题在百度上居然没有找到解决的办法，无语 最后在通过google search终于解决了 我是知道需要install的，但我不知道这个package的名字 所以centos这里只要：yum install perl-Digest-SHA 就ok了 （有一点，这个好像不支持sha command）...
Linux 输入\输出相关命令 echo read tee
u012005313的专栏
05-28 4934
今天学了Linux中输入\输出的一些有效的命令，有些虽然不是很懂，但先记录下来，待以后慢慢品味 回显命令echo #echo [option] string 常用选项： E：禁用转义字符（默认） e：启用转义字符 n：输出结束后不换行 用法示例： 输出字符串：#echo string 将指定的字符串输出（屏蔽转义字符） E(默认) #echo "The firs
graylog4.0 集群搭建
Lovely_red_scarf的博客
06-16 1002
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、安装准备？二、部署步骤1.前置工作1:关闭服务器防火墙三.安装mongodb数据库1： MongoDB的用途是什么？四 Elasticsearch集群搭建1: es下载2:创建es数据目录3:修改es集群配置1：修改es安装目录下的config/jvm.options2：
Graylog日志检索系统安装与源码探索
Graylog提供了一个高效且可扩展的日志解决方案，能够帮助IT团队更好地监控系统，进行故障排查，同时通过日志数据挖掘出有价值的信息。通过与Elasticsearch和MongoDB的集成，Graylog能够处理大量日志数据，实现快速...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值