Graylog2 开源项目推荐

最新推荐文章于 2024-11-06 11:10:10 发布
最新推荐文章于 2024-11-06 11:10:10 发布
阅读量393 收藏 7
点赞数 4
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gitblog_00499/article/details/143562207
版权

Graylog2 开源项目推荐

graylog2 graylog2 项目地址: https://gitcode.com/gh_mirrors/gr/graylog2

项目基础介绍和主要编程语言

Graylog2 是一个强大的开源日志管理平台，旨在帮助用户收集、存储、分析和可视化日志数据。该项目主要使用 Shell 脚本语言编写，适用于自动化安装和配置 Graylog2 系统。

项目核心功能

Graylog2 的核心功能包括：

  1. 日志收集：支持从多种来源收集日志数据，包括系统日志、应用程序日志等。
  2. 日志存储：提供高效的日志存储解决方案，确保日志数据的长期保存和快速检索。
  3. 日志分析：内置强大的分析工具，帮助用户快速定位和解决问题。
  4. 日志可视化：通过图表和仪表盘直观展示日志数据，便于用户监控系统状态。

项目最近更新的功能

截至2023年6月9日，Graylog2 项目已被其所有者归档，不再进行更新和维护。因此，最近更新的功能信息无法提供。建议关注其他活跃的开源日志管理项目以获取最新的功能和技术支持。

graylog2 graylog2 项目地址: https://gitcode.com/gh_mirrors/gr/graylog2

graylog2使用说明(docker)
07-24
## 什么是graylog Graylog 是一个简单易用、功能较全面的日志管理工具，相比 ELK 组合， 优点： - 部署维护简单 - 查询语法简单易懂(对比ES的语法…) - 内置简单的告警 - 可以将搜索结果导出为 json - 提供简单的聚合统计功能 - UI 比较友好 - 当然， 拓展性上比 ELK 差很多。 整套依赖： - Graylog 提供 graylog 对外接口 - Elasticsearch 日志文件的持久化存储和检索 - MongoDB 只是存储一些 Graylog 的配置 ## 安装 > 可以是裸机安装，也可以是docker安装，这里用docker安装 环境要求: - centos7.4 - cpu2个 内存2G 参考: https://hub.docker.com/r/graylog2/graylog/ ### 环境准备 ``` mkdir /root/graylog && cd /root/graylog //挂载目录 mkdir -p mongo_data graylog_journal es_data //配置文件目录 mkdir -p ./graylog/config cd ./graylog/config wget https://raw.githubusercontent.com/Graylog2/graylog-docker/3.0/config/graylog.conf wget https://raw.githubusercontent.com/Graylog2/graylog-docker/3.0/config/log4j2.xml //提前准备镜像 docker pull mongo:3 docker pull graylog/graylog:3.0 docker pull elasticsearch:5.6.9 ``` ### docker-compose.yml ``` version: '2' services: # MongoDB: https://hub.docker.com/_/mongo/ mongo: image: mongo:3 volumes: - ./mongo_data:/data/db - /etc/localtime:/etc/localtime # Elasticsearch: https://www.elastic.co/guide/en/elasticsearch/reference/5.5/docker.html elasticsearch: image: elasticsearch:5.6.9 volumes: - ./es_data:/usr/share/elasticsearch/data - /etc/localtime:/etc/localtime environment: - http.host=0.0.0.0 - transport.host=localhost - network.host=0.0.0.0 # Disable X-Pack security: https://www.elastic.co/guide/en/elasticsearch/reference/5.5/security-settings.html#general-security-settings - xpack.security.enabled=false - "ES_JAVA_OPTS=-Xms512m -Xmx512m" ulimits: memlock: soft: -1 hard: -1 mem_limit: 1g # Graylog: https://hub.docker.com/r/graylog/graylog/ graylog: image: graylog/graylog:3.0 volumes: - ./graylog_journal:/usr/share/graylog/data/journal - ./graylog/config:/usr/share/graylog/data/config - /etc/localtime:/etc/localtime environment: # CHANGE ME! - GRAYLOG_PASSWORD_SECRET=somepasswordpepper # Password: admin - GRAYLOG_ROOT_PASSWORD_SHA2=8c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918 # 这里需要修改为要暴露的机器的地址 - GRAYLOG_HTTP_EXTERNAL_URI=http://10.121.60.2:9000/ links: - mongo - elasticsearch ports: # Graylog web interface and REST API - 9000:9000 # Syslog TCP - 514:514 # Syslog UDP - 514:514/udp # GELF TCP - 12201:12201 # GELF UDP - 12201:12201/udp # GELF HTTP - 12202:12202 ``` ### 启动 `docker-compose -f docker-compose.yml up -d` 通过http://10.121.60.2:9000/访问web,admin/admin ### 修改配置 - email相关(告警需要) ``` transport_email_enabled = true transport_email_hostname = smtp.163.com transport_email_port = 994 transport_email_use_auth = true transport_email_use_tls = true transport_email_use_ssl = true transport_email_auth_username = 17191093767@163.com transport_email_auth_password = zhim123456 transport_email_subject_prefix = [graylog] transport_email_from_email = 17191093767@163.com transport_email_web_interface_url = http://10.121.60.2:9000 ``` ## 使用 ### 配置添加Inputs > Graylog 节点能够接受数据的类型称之为input，常见的有GELF TCP, GELF UDP, GELF HTTP. 说明：GELF TCP, GELF UDP可以使用同一个端口，HTTP需要另起端口，原因不解释。 - 添加三个input，过程略，tcp,udp端口使用默认的12201，http端口使用12202。 - 验证 ``` // udp echo -n '{ "version": "1.1", "host": "example.org", "short_message": "A short message info with udp", "level": 1, "_some_info": "foo", "_tag": "test11" }' | nc -w10 -u 10.121.60.2 12201 // tcp echo -n -e '{ "version": "1.1", "host": "example.org", "short_message": "A short message with tcp", "level": 1, "_some_info": "foo" }'"\0" | nc -w10 10.121.60.2 12201 //http curl -X POST -H 'Content-Type: application/json' -d '{ "version": "1.1", "host": "example.org", "short_message": "A short message with http", "level": 5, "_some_info": "foo" }' 'http://10.121.60.2:12202/gelf' ``` ### docker 日志添加到graylog ``` docker run --log-driver=gelf \ --log-opt gelf-address=udp://10.121.60.2:12201 \ --log-opt tag=test1 \ -v /etc/localtime:/etc/localtime \ -it nginx /bin/bash ``` docker-compose.yaml ``` services: mongo: logging: driver: "gelf" options: gelf-address: "udp://10.121.60.2:12201" tag: mongo volumes: - /etc/localtime:/etc/localtime ``` ### java日志直接发送到graylog > 使用logback ``` 10.121.60.2 12201 <!--An example of overwriting the short message pattern--> %ex{short}%.100m <!-- Use HTML output of the full message. Yes, any layout can be used (please don't actually do this)--> %d{MM-dd HH:mm:ss.SSS} [%thread] %-5level \(%F:%L\) - %msg %n true true true true requestId:long <!--Facility is not officially supported in GELF anymore, but you can use staticFields to do the same thing--> tag business-server ``` ## 系统使用 功能菜单说明 - search 日志查询面板 ![](assets/2018-07-10-11-52-07.png) - streams 将日志对象按照filed定义为stream，默认的stream为all messages ![](assets/2018-07-10-11-52-22.png) - alerts 告警相关，选择一个stream对象定义告警条件和通知方式，当stream里面的日志满足条件时候告警并通知 ![](assets/2018-07-10-11-52-35.png) - dashboards 图形面板 ![](assets/2018-07-10-11-52-53.png) - source 告警所在主机 ![](assets/2018-07-10-11-53-37.png) - system 系统配置 ![](assets/2018-07-10-11-53-52.png) ### 查询条件 [官方说明文档](http://docs.graylog.org/en/3.0/pages/queries.html) > 关键字不分大小写 - 单个关键字查询 `ssh` - 多关键字查询,含有ssh or login `ssh login` - 含有某个字符串查询 `ssh login` - 同时含有多个关键字查询 `opening index" AND db` - 根据字段值查询 `tag:couchdb.peer0.org1.ygsoft.com` - 含有多个tag的查询，某条记录只要其中一个字段满足即可 ``` tag: (orderer.ygsoft.com couchdb.peer0.org1.ygsoft.com) or tag: orderer.ygsoft.com couchdb.peer0.org1.ygsoft.com ``` - 含有完全匹配字段 `tag:"ssh login"` - 含有某个字段的记录: `_exists_:tag` - 不含有某个字段的记录: `NOT _exists_:tag` - AND OR `"ssh login" AND source:example.org` `("ssh login" AND (source:example.org OR source:another.example.org)) OR _exists_:always_find_me` - NOT ``` "ssh login" AND NOT source:example.org NOT example.org ``` 注意： AND, OR, and NOT 只能大写. - 通配符 ? 表示单个字符 星号表示0个和多个字符 ``` source:*.org source:exam?le.org source:exam?le.* ``` 注意：默认首字母不能使用通配符，因为这样会使用大量的内存；强行开启修改配置文件`allow_leading_wildcard_searches = true` - 当某关键字不确认顺序的时候使用~ ``` ssh logni~ source:exmaple.org~ 结果可以匹配 ssh login and example.org ``` - 以下字符在使用的时候必须用反斜杠转义 ``` && || : \ / + - ! ( ) { } [ ] ^ " ~ * ? Example: resource:\/posts\/45326 ``` ### 查询条件可以保存下来 使用 save search criteria 按钮
Graylog2 安装
wjandy0211的博客
04-21 761
GrayLog 服务端需要一些环境依赖 Linux 发行版（如Debian、Ubuntu、或推荐使用的CentOS） Elasticsearch 2.x (2.1.0 or later)graylog2.3以后版本支持了elasticsearch5.x版本，但是不支持6.x版本 MongoDB 2.4 or later (latest stable version is recommende...
graylog2安装
weixin_34375251的博客
11-21 128
http://www.cnblogs.com/wsl222000/p/6041835.html 官网： https://www.graylog.org/ http://docs.graylog.org/en/2.2/pages/geolocation.html graylog日志收集（nxlog收集器配合使用） 日志收集平台Graylog2以及Nxlog...
Graylog2配合nxlog日志系统搭建（基于docker）
老辉辉的博客
06-07 3769
本文档简单介绍安装过程，可以参考graylog2官方文档http://docs.graylog.org/en/2.4/此安装过程在CentOS7 64 中进行。可以参考：https://blog.csdn.net/u012954706/article/details/79592060https://blog.csdn.net/iwannarun/article/details/52604646ht...
**灰度日志管理利器—Graylog2：解析、监控与告警一站式解决方案**
gitblog_00076的博客
06-25 586
灰度日志管理利器—Graylog2：解析、监控与告警一站式解决方案 项目地址:https://gitcode.com/gh_mirrors/gr/graylog2 在海量数据时代，高效处理和理解系统产生的日志变得至关重要。不论是运维人员还是开发团队，都需要一个强大且灵活的工具来应对这一挑战。Graylog2作为一款开源的日志聚合与分析平台，凭借其卓越的功能和易用性，在日志管理领域占据了一席之地。 ...
graylog2-server：免费和开源日志管理
02-05
Graylog是一个开源日志管理平台。 你可以阅读更多关于该项目上我们的，并检查了的文档站点。 问题跟踪 发现了错误？ 有改进的想法吗？ 随时。 贡献 帮助我们建立日志管理的未来，并成为每天有成千上万的人使用的...
Graylog免费和开源的日志管理
08-07
在实际部署中，我们注意到压缩包中的"Graylog2-graylog2-server-85602e1"，这很可能是Graylog服务器的一个版本。安装和配置Graylog通常涉及到设置数据存储（如Elasticsearch）、启动服务器、配置输入和输出，以及...
Graylog基础使用
05-24
**Graylog** 是一款开源的日志管理系统，能够收集、索引并分析来自不同源的日志数据。它基于**Elasticsearch**进行日志存储与检索，并利用**MongoDB**来管理系统配置及元数据。本文将详细介绍如何使用Docker及Docker...
Laravel开发-laravel-graylog
08-28
而Graylog是一个开源的日志管理和分析平台，它可以帮助我们收集、存储、搜索、分析以及可视化来自多个源的日志数据。 首先，了解集成Laravel与Graylog的重要性和好处是至关重要的。通过将Laravel应用的错误日志发送...
Laravel开发-laravel-graylog2
08-28
而 Graylog2 是一个开源的日志收集、存储和分析平台，能帮助企业或个人进行大规模的日志管理和故障排查。 首先，让我们了解为什么要在 Laravel 中使用 Graylog2。Laravel 自带的日志系统虽然简单易用，但在大型项目...
Graylog2 开源日志管理平台使用教程
gitblog_00295的博客
10-10 1613
Graylog2 开源日志管理平台使用教程 graylog2-server Free and open log management 项目地址: https://gitcode.com/gh_mirrors/gr/graylog2...
探索数据海洋，搭建高效日志管理系统 —— Graylog2 图像项目深度解读
gitblog_00087的博客
08-27 457
探索数据海洋，搭建高效日志管理系统 —— Graylog2 图像项目深度解读 graylog2-imagesReady to run machine images项目地址:https://gitcode.com/gh_mirrors/gr/graylog2-images 在大数据时代，日志管理成为系统运维和故障排查不可或缺的一环。今天，我们带来了一款强大且易用的开源日志管理解决方案——基于Gra...
Graylog2+ELK日志系统
weixin_33720452的博客
12-01 750
现状：之前的日志系统，采用是两台ELK,每天日志量在120G-160G，机器负载在18%左右，日志处理延迟在30分钟左右，改造后，同样两台机器,机器负载高峰时在10%左右,处理零延迟，并且支持告警，改造后日志系统结构图如下:Graylog stream内部结构： 安装包版本:redis 3.2.8mongodb-3.4.4logstash 5.2.2graylog-2.3.2elasticsear...
graylog2（v2.0.3）的安装与配置
weixin_34288121的博客
07-30 224
自己倒腾费了很大劲，但是回过头来，倒是不难，还是写下来记录一下。安装我自己安装的时候，看了一个老版本的安装手册，走了不少弯路，最后还是参考官方手册，很简单很快的就安装好了，官网地址：http://graylog2.org/。 安装相关依赖包1. yum -y install gcc* openssl-devel glib2-devel numactl安装mongo...
Graylog2+rsyslog+log4j 全过程日志管理环境搭建
热门推荐
money9sun的博客
05-12 1万+
笔者刚刚进入一家新公司，leader给我的第一个任务就是研究一下graylog2这个日志管理框架，目的要把我们java开发过程中的logger统一放到一起，便于排错。经过一周的研究，已经把整个环境搭建完成，现把整个过程记录如下： 第一步：安装Graylog2环境（CentOS7） 这里网上有很多的教程，直接看官网也是不错的，笔者绕了很大的圈子，最后是参...
Graylog2 项目常见问题解决方案
gitblog_00007的博客
11-06 289
Graylog2 项目常见问题解决方案 graylog2 项目地址: https://gitcode.com/gh_mirrors/gr/graylog2 项目基础介绍 G...
日志收集平台Graylog2以及Nxlog的安装与配置（基于docker）
iwannarun的博客
10-13 9305
graylog 安装配置 OS:CentOS7 64 基于Docker的安装graylog 官网 docker 安装 Persist log datamkdir -p /graylog/config cd /graylog/config wget https://raw.githubusercontent.com/Graylog2/graylog2-images/2.0/docker/config/
Graylog2采集Nginx日志 主动方式(转)
完颜振江
06-06 453
【代码】Graylog2采集Nginx日志 主动方式(转)
graylog2
最新发布
04-26
<think>好的，用户想了解Graylog2的使用指南或问题解决。首先，我需要回忆之前提供的引用内容，看看是否有相关信息。引用[1]提到Graylog的Slack插件，安装步骤和版本要求。引用[2]是关于镜像构建和常见问题，比如网络隔离和配置参数。 用户可能需要基本的使用步骤，比如安装、配置、日志收集等。我应该分步骤说明，确保结构清晰。同时，常见问题部分需要涵盖启动失败、日志收集问题、性能优化等，每个问题给出解决方法，并引用相关部分的支持信息。 还要注意用户提到的系统级指令，比如正确使用LaTeX格式，不过在这个问题中可能用不到数学公式。但需要确保回答中的技术术语正确，比如版本号、配置文件名等。 另外，用户希望生成相关问题，我需要围绕Graylog2的部署、插件、日志处理、高可用性等方面提问，帮助用户深入探索。确保每个问题都有针对性，能够引导用户进一步学习或解决问题。 最后，检查引用标记是否正确添加，比如网络配置问题引用[^2]，插件安装引用[^1]。保持回答自然，避免堆砌信息，分点说明让用户容易理解。</think>### Graylog2 使用指南及常见问题解决 #### **一、Graylog2 核心功能** Graylog2 是开源的日志管理平台，支持日志收集、存储、分析和可视化。核心功能包括： 1. **日志收集**：通过 Inputs（输入源）接收 Syslog、GELF、Beats 等协议日志。 2. **数据处理**：利用 Extractors（提取器）或 Pipelines（处理管道）解析和过滤日志。 3. **存储与搜索**：基于 Elasticsearch 实现日志存储和快速检索。 4. **告警与通知**：通过 Alert 配置触发条件，并集成 Slack 等通知渠道[^1]。 --- #### **二、快速部署指南** ##### **1. 基础环境搭建** - **推荐配置**：4核 CPU / 8GB 内存 / 50GB 存储（生产环境需更高配置）。 - **依赖组件**： - Elasticsearch 7.x - MongoDB 4.x - Graylog 4.x - **安装步骤**： ```bash # Ubuntu/Debian 示例 wget https://packages.graylog2.org/repo/packages/graylog-4.3-repository_latest.deb sudo dpkg -i graylog-4.3-repository_latest.deb sudo apt update && sudo apt install graylog-server ``` ##### **2. 配置关键参数** 修改配置文件 `/etc/graylog/server/server.conf`： ```properties password_secret = <自定义密钥> root_password_sha2 = <SHA-256哈希后的管理员密码> http_bind_address = 0.0.0.0:9000 elasticsearch_hosts = http://localhost:9200 mongodb_uri = mongodb://localhost/graylog ``` ##### **3. 启动服务** ```bash sudo systemctl start graylog-server sudo systemctl enable graylog-server ``` --- #### **三、常见问题解决** ##### **1. Graylog 服务无法启动** - **检查点**： - 确认 Elasticsearch 和 MongoDB 已正常运行。 - 检查 `server.conf` 中端口是否冲突（如 9000 被占用）。 - 查看日志 `/var/log/graylog-server/server.log` 定位错误[^2]。 ##### **2. 日志无法接收** - **排查步骤**： 1. 确认 Inputs 配置正确（如 Syslog UDP 端口 514 是否开放）。 2. 检查防火墙规则：`sudo ufw allow 514/udp`。 3. 测试日志发送：`echo "Test message" | nc -u 127.0.0.1 514`。 ##### **3. 性能优化建议** - **Elasticsearch 调优**： - 分片数配置：每个索引分配 1 主分片 + 1 副本。 - 定期清理旧索引：通过 Index Retention 策略自动删除过期数据。 - **JVM 参数调整**： ```properties # 在 server.conf 中配置 java_opts = -Xms4g -Xmx4g -XX:MaxRAMPercentage=70 ``` --- #### **四、扩展功能** ##### **1. 集成 Slack 告警** 1. 安装 Graylog Slack 插件： ```bash sudo graylog-plugin install graylog-plugin-slack-3.1.0.jar ``` 2. 在 Web 界面配置告警通知： - 路径：Alerts → Notifications → 添加 Slack 回调地址。 ##### **2. 构建镜像快速部署** 参考 Graylog2/graylog2-images 项目，使用 Packer 自动化生成预装镜像[^2]： ```bash git clone https://github.com/Graylog2/graylog2-images.git cd graylog2-images packer build graylog-aws.json ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

黎玫洵Errol

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值