Graylog安装操作

最新推荐文章于 2024-01-28 21:53:40 发布
最新推荐文章于 2024-01-28 21:53:40 发布
阅读量432 收藏
点赞数
文章标签： 运维 大数据 后端
原文链接：http://www.cnblogs.com/liang545621/p/9448402.html
版权

Graylog安装操作

 

实验环境centos7.5系统  mem:4-8G       disk：50G

关闭selinux以及firewalld

一、准备环境

1.1、java环境

下载java的jdk软件包。

wget http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-x64.rpm

 

rpm –ivh jdk-8u181-linux-x64.rpm

 

设置变量

vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64/

export CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$JAVA_HOME/bin:$PATH

        

         启动

          source /etc/profile

 

         验证

                  java –version

                          java version "1.8.0_171"

Java(TM) SE Runtime Environment (build 1.8.0_171-b11)

Java HotSpot(TM) 64-Bit Server VM (build 25.171-b11, mixed mode)

 

1.2、MongoDB下载

准备yum源

cat >/etc/yum.repos.d/mongodb-org-3.6.repo << EOF

[mongodb-org-3.6]

name=MongoDB Repository

baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.6/x86_64/

gpgcheck=1

enabled=1

gpgkey=https://www.mongodb.org/static/pgp/server-3.6.asc

EOF

 

安装

yum install mongodb-org –y

 

         启动

                  systemctl daemon-reload

                  systemctl enable mongod.service

                  systemctl start mongod.service

 

1.3、Elasticsearch下载

安装yum的验证库key

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

 

添加yum源

cat >/etc/yum.repos.d/elasticsearch.repo << EOF

[elasticsearch-5.x]

name=Elasticsearch repository for 5.x packages

baseurl=https://artifacts.elastic.co/packages/5.x/yum

gpgcheck=1

gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch

enabled=1

autorefresh=1

type=rpm-md

EOF

 

安装

yum install elasticsearch –y

 

修改配置

vim /etc/elasticsearch/elasticsearch.yml

         cluster.name: graylog

 

启动

systemctl daemon-reload

systemctl enable elasticsearch.service

systemctl restart elasticsearch.service

 

1.4、Graylog下载

安装

rpm -Uvh https://packages.graylog2.org/repo/packages/graylog-2.4-repository_latest.rpm

yum install graylog-server –y

 

配置

添加password_secret和root_password_sha2

echo –n yourpassword |sha256sum

 

password_secret = 8c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918

 

root_password_sha2 = 8c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918

 

然后修改rest_listem_uri和web_listem_uri的IP地址修改为本机的IP。

rest_listen_uri = http://192.168.190.168:9000/api/

web_listen_uri = http://192.168.190.168:9000/

root_timezone = Asia/Shanghai

 

启动

systemctl daemon-reload

systemctl enable graylog-server.service

systemctl start graylog-server.service

 

 

注意：

系统要求

Graylog服务器应用程序具有以下先决条件：

警告

2.3之前的Graylog 不适用于Elasticsearch 5.x！

警告

Graylog 2.4 不适用于Elasticsearch 6.x！

 

 

登录：

IP:9000

用户密码：admin

二、添加数据源

2.1、安装客户端

 

 

 

如图所示，linux host需要一个传出数据的软件。Nxlog或Filebeat。

此处选用第二种。

 

Graylog-collector-sidecar下载地址：https://github.com/Graylog2/collector-sidecar/releases

Nxlog下载地址：https://nxlog.co/products/nxlog-community-edition/download

 

Collector-sidecar:

rpm -i collector-sidecar-0.0.9-1.x86_64.rpm

graylog-collector-sidecar -service install

systemctl start collector-sidecar

 

 

后端Nxlog与Filebeats取其一即可。默认安装好Collector-sidecar，Filebeats是Collector-sidecar包内自带的。

 

配置：

/etc/graylog/collector-sidecar/collector_sidecar.yml

参数

描述

SERVER_URL

Graylog API的URL，例如 http://127.0.0.1:9000/api/

更新周期

sidecar将从Graylog服务器获取新配置的时间间隔（秒）

tls_skip_verify

使用自签名证书启动REST API时忽略错误

SEND_STATUS

将每个后端的状态发送回Graylog并将其显示在主机的状态页面上

list_log_files

将目录列表发送到Graylog并将其显示在主机状态页面上，例如/var/log。这也可以是目录列表

NODE_ID

Sidecar实例的名称也将显示在Web界面中。如果未设置，将使用主机名。

collector_id

实例的唯一ID（UUID）。这可以是字符串或ID文件的路径

log_path

Sidecar可以存储每个正在运行的收集器后端的输出的目录的路径

log_rotation_time

在X秒后旋转每个收集器的stdout和stderr日志

log_max_age

删除早于Y秒的旋转日志文件

标签

配置标签列表。服务器端与标记列表匹配的所有配置都将由此实例提取和合并

后端

用户希望在目标主机上运行的收集器后端列表

  

目前支持NXLog和Beats作为收集器后端，使Sidecar需要知道二进制文件的安装位置以及可以为其编写配置文件的位置。

参数

描述

名称

使用哪个后端（必须是'nxlog'，'filebeat'或'winlogbeat）

启用

这个后端是否应该由Sidecar启动

binary_path

实际收集器二进制文件的路径

configuration_path

此收集器的配置文件的路径

 

Beats平台配置示例如下：

server_url: http://graylog01.ucex.corp:9000/api/

update_interval: 10

tls_skip_verify: false

send_status: true

list_log_files:

    - /data/ucex

    - /var/log

node_id: dev-backend-http-ws01

collector_id: file:/etc/graylog/collector-sidecar/collector-id

cache_path: /var/cache/graylog/collector-sidecar

log_path: /var/log/graylog/collector-sidecar

log_rotation_time: 86400

log_max_age: 604800

tags:

    - linux

    - engine_accesshttp

    - engine_mdc

backends:

    - name: nxlog

      enabled: false

      binary_path: /usr/bin/nxlog

      configuration_path: /etc/graylog/collector-sidecar/generated/nxlog.conf

    - name: filebeat

      enabled: true

      binary_path: /usr/bin/filebeat

      configuration_path: /etc/graylog/collector-sidecar/generated/filebeat.yml

 

Nxlog的配置如Beats的配置相似，只需要更改backends中的enabled后面得false改为true。

 

注意：

配置中的tags，一定得准确和实际目录下日志文件名相似，否则在system/collectors中无法查找到合适得匹配标签。匹配tags会更精确得获取数据。

 

重启服务

systemctl restart collector-sidecar

 

###注：标红的，是必填项，需要注意的。

 

 

2.2、web配置

      2.2.1 打开web页面  system/collectors

 

 

 

启动collectors后，web页面会自动获取如上所示。

System/collectors 点击进入页面后，会自动获取客户端，如上图。

 

选择 Manage Configurations

 

 

 

创建一个configuration

 

 

 

按要求填入 name

 

 

 

添加输入与输出的配置

 

 

 

输出output （graylog服务端地址）

 

 

 

输入input  (默认为['/var/log/*.log'] )根据软件日志路径定义，得跟配置文件中一致。

 

 

 

在tags中需要和配置文件中的tags一致

 

 

 

 

 

 

2.2.2 在web端 system/input

 

 

 

Select input 选用beats

 

 

 

发现有流量在动，说明配置成功。

 

 

 

日志收集数据

 

 

 

 

注意：

服务器时区与客户端得时区得一致。

 

调试：

Sidecar正在将日志文件写入配置的目录中路径。每个后端都有一个文件，您可以检查文件权限或日志传输问题等常见问题。Sidecar本身正在写一些collector_sidecar.log问题，例如可以在那里找到与Graylog API连接失败的问题。

您还可以在前台启动Sidecar并监视进程的输出：

$ graylog-collector-sidecar -debug -c /etc/graylog/collector-sidecar/collector_sidecar.yml

 

 

三、搜索日志

      3.1 模糊搜索

                  进入搜索页面，输入关键词。

例如：输入  error， 如下图所示

 

 

 

搜索到的，系统会标亮显示出来。

这种方法会把系统内所有的关键字全部搜索出来，然后再进行messages的查看。

优点：可以查看全部包含该关键字的内容。

缺点：信息量太多。

 

      3.2 区域搜索

         指定主机源，在该主机源上进行对该主机的日志查询。共有两种方法。

            3.2.1 数据源查看

                  知道自己需要的日志主机名，System/collectors 查看所有的数据源地址。然后点击show messages，即可查看该主机上全部日志信息。

 

 

 

 

系统默认会显示7days前的数据。

 

时间调整，如下图，选择需要查看的时间段。时间查询分为相对时间，绝对时间。

 

 

 

可以根据需要选择使用合适的时间段。

 

            3.2.2 字段查询

                  可以根据数据源，以及文件名等，利用字段来查找关键信息。

 

 

 

Search支持的字段。

 

 

例子：

file:"\/var\/log\/nginx\/access.log" AND source:"dev\-frontend\-nginx01"

 

输入messages 或 file 等如上图所示的关键词，搜索框会提示你输入得字段。然后根据system/collectors中配置的路径，即可准确查询日志信息中的关键字。

注意：有一些特殊的字符需要转义,使用反斜杠 “\” 如上所示。

 

 

搜索到的内容，系统都会把它标亮。

 

更新搜索到的内容

 

 

如上所示选择合适的持续时间，然后点击三角符号即可。

 

Quick values 快速选取值

每个字段的下拉框都有四个选项，messages字段除外。

图表、快速取值、统计、世界地图。

如下：

图标，用来显示该数据源中该字段的时间点以及file的数据值。

 

 

搜索侧栏中的“ 生成图表”按钮为任何数字字段创建字段图。使用字段图顶部“ 自定义”菜单中的选项 ，可以更改图形中使用的统计函数，用于表示值的图形类型，图形插值以及时间分辨率。

 

 

一旦您自定义了一些字段图，您还可以通过从图表顶角的汉堡图标拖动它们并将它们放入另一个字段图中来组合它们。您可以在以下屏幕截图中查看汉堡包图标的位置和最终结果：

 

 

每次执行搜索时都会出现字段图，允许您比较数据或组合来自不同流的图。

 

 

快速取值，会显示该主机上所有的value，以file字段为例，如下图所示，会显示所有日志的目录文件。

 

 

点击values上放大镜图标，系统会自动把该字段显示到搜索框，回车后，系统会搜索该文件下所有的日志信息。

 

 

 

还可以根据字段搜索，快捷的选取想要的字段，从而进行精度搜索内容。如下例所示。

 

 

 

字段统计

计算字段的不同统计信息，以帮助您更好地汇总和理解其中的数据。统计信息包括：总数，平均值，最小值，最大值，标准差，方差，总和和基数。在非数字字段上，您只能看到包含该字段的消息总数，以及字段的基数，即它具有的唯一值的数量。

 

 

         3.2.3指定日志内容

         搜索到得日志为了查看方便可以指定该区域。然后进一步得查看。如下所示：

 

 

选取的该部分内容实时查看，点击show surrounding messagees选取更新的时间。

 

 

根据需要点击放大镜，调节合适的参数值。

 

 

 

搜索到的信息添加仪表盘

1、新建仪表

 

 

填写文件名以及相关信息

 

 

 

 

2、方框图仪表板添加

选择创建的仪表库。添加即可。

 

 

 

 

3、搜索信息仪表库添加

首先筛选出常用的字段信息。然后根据这个字段信息，添加到仪表库中。

 

 

 

 

查看

 

 

显示查询到的统计个数

 

 

更新信息

 

 

全屏查看（esc键退出）

 

 

查看搜索到的信息，点击三角符号，系统会跳转到搜索页面展示的内容。

 

 

 

 

 

 

四、索引清理

4.1 索引模型

4.1.1概述

Graylog透明地管理一组或多组Elasticsearch索引，以优化搜索和分析操作，以实现速度和低资源消耗。

为了能够管理具有不同映射，分析器和复制设置的索引，Graylog使用所谓的索引集，这些索引集是所有这些设置的抽象。

 

 

每个索引集都包含Graylog创建，管理和填充Elasticsearch索引以及处理特定需求的索引轮换和数据保留所必需的设置。

 

 

Graylog维护每个索引集的索引别名，该索引别名始终指向该索引集的当前写入活动索引。在满足配置的轮换标准（文档数，索引大小或索引年龄）之前，始终只有一个索引要写入新消息。

后台任务不断检查是否已满足索引集的旋转标准，并在发生时创建并准备新索引。索引准备就绪后，索引别名将自动切换到它。这意味着所有Graylog节点都可以将消息写入别名，甚至不知道索引集的当前写入活动索引是什么。

 

4.1.2索引集配置

索引集具有与Graylog如何将消息存储到Elasticsearch集群相关的各种不同设置。

 

 

  • 标题：索引集的描述性名称。
  • 描述：人类消费指数集的描述。
  • 索引前缀：用于由索引集管理的弹性搜索索引的唯一前缀。前缀必须以字母或数字开头，并且只能包含字母，数字_，-和+。索引别名将相应地命名，例如，graylog_deflector如果索引前缀是graylog。
  • Analyzer :(默认值standard：）索引集的Elasticsearch 分析器。
  • 索引分片 :(默认值：4）每个索引使用的Elasticsearch分片数。
  • 索引副本 :(默认值：0）每个索引使用的Elasticsearch副本数。
  • 最大。段数 :(默认值：1）索引优化（强制合并）后每个Elasticsearch索引的最大段数，有关详细信息，请参阅段合并。
  • 旋转后禁用索引优化：在索引旋转后禁用Elasticsearch 索引优化（强制合并）。只有在优化过程中出现Elasticsearch集群性能严重问题时才激活此项。
  • 消息计数：在写入特定数量的消息后旋转索引。
  • 索引大小：在达到磁盘上的大致大小（优化之前）后旋转索引。
  • 索引时间：在特定时间（例如1小时或1周）后旋转索引。

4.2索引旋转

 

  • 消息计数：在写入特定数量的消息后旋转索引。
  • 索引大小：在达到磁盘上的大致大小（优化之前）后旋转索引。
  • 索引时间：在特定时间（例如1小时或1周）后旋转索引。

  •  

4.3索引保留

  • 删除：删除 Elasticsearch中的索引以最小化资源消耗。
  • 关闭：关闭 Elasticsearch中的索引以减少资源消耗。
  • 没做什么
  • 存档：商业功能，请参阅存档。

 

 

 

4.4 手动清理

登陆graylog的页面，system/indices ,点击default index set

 

 

 

这些都是关于graylog的日志搜索到的指数。Acitve write index是现在运行正在收集的日志indices ,其他的则是前段时间收集到的日志数据indices。而咱要删除的就是那些，看好日期显示，选择不用的indices，点击delete即可。

 

 

时间与详细内容。

 

 

 

点击delete index就可以把这份index删掉。

转载于:https://www.cnblogs.com/liang545621/p/9448402.html

weixin_33775582
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
graylog-server安装脚本
11-11
该安装脚本是由ansible-playbook所编写的，将本地的rpm保存在file目录下，然后创建hosts文件，添加对应的graylog服务器组，执行ansible--playbook -i hosts graylog.yml即可完成部署。该部署脚本已上生产环境使用，且效率和复用率很高，你只需要将rpm包替换为你自己下载的graylog包，执行上述命令即可完成安装,单节点、集群都可以完成部署。记得创建hosts文件中的服务器组
graylog_install:自动部署Graylog
03-22
graylog_install 自动部署Graylog 警告：脚本部分用法语编写，如果需要，可以对其进行修改 在Debian 10上使用以部署MangoDB，Elasticsearch和Graylog只需对文件执行chmod + x并使其运行！ 您可以为Graylog Webpanel选择您自己的密码，默认用户为“ admin” 完成后，Graylog完全可用
Graylog单机版安装，Graylog安装脚本一键实现在线离线安装
这有一片海的博客
11-26 3209
本文介绍了Graylog单机版安装过程，以及graylog一键安装脚本，并记录了遇到了相关问题的解决方案。同时提供了Dokcer-compose的安装方式。
Graylog集群环境搭建
huixueyi的博客
07-19 3290
本次多节点环境部署示例是基于centos7.2进行，由于资源有限，将ES与Graylog和MongoDB部署在同一台server上。以下内容仅供参考，正式生产环境根据需要进行调整。 前置条件 准备三个节点，系统版本为centos7.2。 Ip Hostname 192.168.2.121 graylogNode1 192.168.2.122 g...
Graylog 4 离线安装一步一步验证的很稳健
laker的博客
07-23 3000
文章目录Graylog 离线安装Garylog简介Garylog平台相关组件简介Garylog和ELK对比部署整体环境版本问题Elasticsearch安装MongoDB安装Graylog安装 Graylog 离线安装 官网地址：https://docs.graylog.org/en/4.1/pages/getting_started.html 下载地址：https://docs.graylog.org/en/4.1/pages/getting_started/download_install.html G
go-graylog：用于Go的Graylog API客户端和用于Graylog的terraform提供程序
02-04
灰色日志 用于Golang的 API客户端和用于Graylog的terraform提供程序。 注意：请使用terraform-provider-graylog / terraform-provider-graylog ... 在Alpine上安装terraform和terraform-provider-graylog
ansible-graylog-modules：用于Graylog API的Ansible模块
01-31
进行中指标输入项模组以下模块可用于相应的操作： graylog_users 创造更新删除清单graylog_roles 创造更新删除清单graylog_streams 创造create_rule 更新update_rule 删除delete_rule 清单query_streams-按流名称...
graylog-server-3.3.9-1.noarch.zip
01-04
graylog安装包
graylog2使用说明(docker)
07-24
## 什么是graylog Graylog 是一个简单易用、功能较全面的日志管理工具，相比 ELK 组合， 优点： - 部署维护简单 - 查询语法简单易懂(对比ES的语法…) - 内置简单的告警 - 可以将搜索结果导出为 json - 提供简单的...
SpringBoot整合Graylog做日志收集
BASK2311的博客
12-15 2198
本篇文章只是说明了Graylog的一个入门使用，进阶的玩法可能要后面才有时间整理了。不管用什么方案做日志收集，我认为只要简单易用，稳定靠谱就好，ELK作为当前主流的日志收集框架，除了部署麻烦些，耗费资源高些之外并没有明显短板，所以ELK也好，Graylog也罢，只要适合自己就可以。
CentOS7 安装Graylog 5.0+卸载GrayLog服务
最新发布
QuJJan的博客
01-28 306
Graylog 是一个开源的日志聚合、分析、审计、展现和预警工具。在功能上来说，和 ELK 类似，但又比 ELK 要简单很多。依靠着更加简洁，高效，部署使用简单的优势很快受到许多人的青睐。当然，在扩展性上面确实没有比 ELK 好，但是其有商业版本可以选择。
Centos7 安装Graylog 5.0收集网络设备运行日志+卸载GrayLog服务
qixiaolinlin的博客
04-05 5743
对于日志监控业界常用的有ELK、Loki、Graylog等系统，最近在做技术选型时，对比了各个系统的情况，Graylog的一体化方案很符合现有需求。Graylog算是轻量级的ELK，也有很多企业在使用Graylog查看日志和监控业务日志。Graylog中文资料相对较少，在技术选型和开发过程中对资料进行整理。Graylog包含了告警、归档（商业版）、面板、日志查看、Rest API、组管理等功能。本文主要介绍Graylog的相关组件和基本流程。官方：https://docs.graylog.org/
CENTOS安装 graylog5.0
07-18 369
我们直接开始。
源码脚本安装graylog
ststcheung的博客
06-27 246
Graylog是一个开源的日志管理平台，可以帮助企业实时收集、存储、搜索和分析大量的日志数据。Graylog支持多种不同来源的数据，例如：服务器日志、应用程序日志、网络设备日志等等。 Graylog的主要功能包括： 1. 实时日志收集和处理：可以收集多种来源的日志数据，并实时对日志数据进行处理、分析和存储。 2. 强大的搜索和过滤功能：支持按照时间、关键字、源IP等多个维度进行搜索和过滤。 3. 可视化分析和报告：可以通过图表、仪表盘等方式提供可视化的分析和报告，帮助用户更好地理解和分析日志数据。
日志管理系统Graylog的集群部署
wujushan的博客
01-09 2710
系统架构 Load Balancer: 负载均衡 Graylog Server Cluster: 提供日志的Web管理功能和日志输入 MongoDB Replica Set: 存储Graylog相关的配置 Elasticsearch Cluster: 日志文件的持久化存储和检索 Graylog Cluster Graylog集群的安装部署如下表所示： VM IP Graylog S...
Docker Springboot 集成 Graylog
seasonszx的博客
09-05 757
graylog
How to install GrayLog5.1.2 with one-click script
shanxun1012的专栏
08-14 251
How to install GrayLog5.1.2 with one-click script
Graylog日志监控系统安装配置
JackLiu16的博客
06-08 3283
在公司里面一直负责整个公司的监控系统，主要包括底层服务器的硬件监控、系统层面的监控、网络设备的监控、中间件和应用层面的监控等。虽然Zabbix也提供对日志监控的方案，但由于日志量、可视化、报表统计等方面的原因，需要一款专业的日志监控系统来做这件事。我对比过ELK、商业日志工具Splunk和Graylog，后面选择了Graylog。Graylog简单说就是一个开源的日志聚合、分析、审计、展现和预警工...
Graylog 配置Sidecar和filebeat
这有一片海的博客
12-24 2025
Graylog使用sidecar、filebeat形式采集日志信息
linux graylog安装
08-22
- *1* [graylog安装总结](https://blog.csdn.net/liuyij3430448/article/details/127647508)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值