![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ELK
文章平均质量分 92
huchao_lingo
这个作者很懒,什么都没留下…
展开
-
使用geoipupdate自动更新GeoIP数据库
使用 GeoLite2-Country 数据库,IP 地址只解析到对应的国家或地区,使用 GeoLite2-City 数据库,IP 地址可以具体解析到国家/地区、州/省和城市,点击 Download GZIP 就会下载对应的最新版本 GeoLite2 数据库文件。这种方法虽然每次能下载到最新版本的 GeoLite2 数据库文件,但是每次数据库更新都依靠手动下载必然是非常麻烦的,所以我们可以使用 MaxMind 提供的官方 GeoIP 数据库更新程序 geoipupdate。添加完成后,保存并退出。原创 2024-07-16 10:17:31 · 1163 阅读 · 0 评论 -
elasticsearch6.3.1中x-pack插件启用
elasticsearch6.3.1中x-pack插件启用elasticsearch版本6.3.1一、启用pack1、重写license验证源码重写x-pack下的2个类:LicenseVerifier.java和XPackBuild.java,反编译jar丁创建目录testmkdir testcd testvim LicenseVerifier.java跳过校验部分,直接返回...原创 2020-03-11 14:16:00 · 1337 阅读 · 0 评论 -
elasticsearch-head安装
elasticsearch-head安装Node.js环境安装head插件要求Node.js环境,并且Node.js的版本 大于等于 6.0。下载 Node.js 12.13.0 版本。下载地址:https://nodejs.org/en/download/配置nodejs环境变量vim /etc/profileexport NODE_HOME=/home/tom/data/node-...原创 2020-03-10 17:11:41 · 1030 阅读 · 0 评论 -
ELK采集nginx错误日志
ELK采集nginx错误日志一、filebeat采集配置1、在nginx服务器上安装filebeatwget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.3.1-x86_64.rpmyum localinstall filebeat-6.3.1-x86_64.rpm2、配置filebeat采集文件v...原创 2020-03-10 17:01:25 · 1467 阅读 · 0 评论 -
ELK + Grafana分析nginx日志
ELK + Grafana分析nginx日志一、采集nginx json格式日志1、配置nginx日志输出格式 log_format json '{"@timestamp":"$time_iso8601",' '"@source":"$server_addr",' '"hostname":"$hostname"...原创 2020-01-06 16:41:18 · 3178 阅读 · 0 评论 -
定时清理elasticsearch中的历史数据
定时清理elasticsearch中的历史数据创建清理脚本创建脚本目录mkdir -p /opt/server/cron创建脚本vim delete_elasticsearch_data.sh#!/bin/bashmydate=$(date -d "-30 day" +"%Y-%m-%d")curl -XDELETE "http://localhost:9200/...原创 2020-01-06 16:35:15 · 4568 阅读 · 0 评论 -
分布式环境下的日志处理架构(ELK)
分布式环境下的日志处理架构(ELK)一、整体架构设计filebeat: 负责日志采集,采集的日志包括服务日志、中间件日志等kafka:负责数据缓存logstash: 消费kafka的日志,经过过滤后存储到elasticsearchelasticsearch: 负责日志存储kibana: 负责日志展示二. 此架构使用的软件及版本如下:(1) filebeat-6.3.1-l...原创 2019-12-19 14:57:30 · 1183 阅读 · 1 评论 -
logstash配置
logstash配置logstash消费kafka日志,过滤后发送到elasticsearch存储日志包括:Java服务日志、redis日志、consul日志、配置中心apollo日志添加定制正则进入logstash安装目录,创建正则目录patternscd /opt/server/logstashmkdir patternsgrok配置grok的编写配置虽然不难,但是很容易出...原创 2019-12-19 14:08:44 · 853 阅读 · 0 评论 -
elasticsearch安装
1、安装JDK rpm -ivh jdk-8u231-linux-x64.rpm2、创建相关安装目录mkdir -p /opt/server/elasticsearchmkdir -p /data/elasticsearch/datamkdir -p /data/elasticsearch/logs3、下载安装包cd /opt/server/unzip elasticsearc...原创 2019-12-12 18:04:16 · 825 阅读 · 0 评论 -
kibana安装
1、kibana简介Kibana是一个为Elasticsearch平台分析和可视化的开源平台,使用Kibana能够搜索、展示存储在Elasticsearch中的索引数据。使用它可以很方便用图表、表格、地图展示和分析数据。Kibana能够轻松处理大量数据,通过浏览器接口能够轻松的创建和分享仪表盘,通过改变Elasticsearch查询时间,可以完成动态仪表盘。本文只介绍Kibana在linux...原创 2019-12-12 17:52:15 · 798 阅读 · 0 评论 -
logstash安装
logstash安装从kafka接收数据,并发送到ElasticSearch采集数据有java应用程序日志、consul日志1. 安装jdk1.8rpm -ivh jdk-8u231-linux-x64.rpm[root@logstash patterns]# java -versionjava version "1.8.0_231"Java(TM) SE Runtime En...原创 2019-12-11 17:08:27 · 953 阅读 · 0 评论 -
安装filebeat
安装filebeatlinux安装filebeat采集consul日志,并发送到kafka1. 创建安装目录mkdir -p /opt/servermkdir -p /data/logs2. 下载安装包并解压tar -zxvf filebeat-6.3.1-linux-x86_64.tar.gz3. 重命名文件夹为filebeatmv filebeat-6.3.1-li...原创 2019-12-11 17:00:30 · 1527 阅读 · 0 评论