huchao_lingo的博客

使用 GeoLite2-Country 数据库，IP 地址只解析到对应的国家或地区，使用 GeoLite2-City 数据库，IP 地址可以具体解析到国家/地区、州/省和城市，点击 Download GZIP 就会下载对应的最新版本 GeoLite2 数据库文件。这种方法虽然每次能下载到最新版本的 GeoLite2 数据库文件，但是每次数据库更新都依靠手动下载必然是非常麻烦的，所以我们可以使用 MaxMind 提供的官方 GeoIP 数据库更新程序 geoipupdate。添加完成后，保存并退出。

elasticsearch6.3.1中x-pack插件启用elasticsearch版本6.3.1一、启用pack1、重写license验证源码重写x-pack下的2个类:LicenseVerifier.java和XPackBuild.java，反编译jar丁创建目录testmkdir testcd testvim LicenseVerifier.java跳过校验部分，直接返回...

elasticsearch-head安装Node.js环境安装head插件要求Node.js环境，并且Node.js的版本 大于等于 6.0。下载 Node.js 12.13.0 版本。下载地址：https://nodejs.org/en/download/配置nodejs环境变量vim /etc/profileexport NODE_HOME=/home/tom/data/node-...

ELK采集nginx错误日志一、filebeat采集配置1、在nginx服务器上安装filebeatwget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.3.1-x86_64.rpmyum localinstall filebeat-6.3.1-x86_64.rpm2、配置filebeat采集文件v...

ELK + Grafana分析nginx日志一、采集nginx json格式日志1、配置nginx日志输出格式 log_format json '{"@timestamp":"$time_iso8601",' '"@source":"$server_addr",' '"hostname":"$hostname"...

定时清理elasticsearch中的历史数据创建清理脚本创建脚本目录mkdir -p /opt/server/cron创建脚本vim delete_elasticsearch_data.sh#!/bin/bashmydate=$(date -d "-30 day" +"%Y-%m-%d")curl -XDELETE "http://localhost:9200/...

分布式环境下的日志处理架构（ELK）一、整体架构设计filebeat: 负责日志采集，采集的日志包括服务日志、中间件日志等kafka：负责数据缓存logstash: 消费kafka的日志，经过过滤后存储到elasticsearchelasticsearch: 负责日志存储kibana: 负责日志展示二. 此架构使用的软件及版本如下:(1) filebeat-6.3.1-l...

logstash配置logstash消费kafka日志，过滤后发送到elasticsearch存储日志包括：Java服务日志、redis日志、consul日志、配置中心apollo日志添加定制正则进入logstash安装目录，创建正则目录patternscd /opt/server/logstashmkdir patternsgrok配置grok的编写配置虽然不难，但是很容易出...

1、安装JDK rpm -ivh jdk-8u231-linux-x64.rpm2、创建相关安装目录mkdir -p /opt/server/elasticsearchmkdir -p /data/elasticsearch/datamkdir -p /data/elasticsearch/logs3、下载安装包cd /opt/server/unzip elasticsearc...

1、kibana简介Kibana是一个为Elasticsearch平台分析和可视化的开源平台，使用Kibana能够搜索、展示存储在Elasticsearch中的索引数据。使用它可以很方便用图表、表格、地图展示和分析数据。Kibana能够轻松处理大量数据，通过浏览器接口能够轻松的创建和分享仪表盘，通过改变Elasticsearch查询时间，可以完成动态仪表盘。本文只介绍Kibana在linux...

logstash安装从kafka接收数据，并发送到ElasticSearch采集数据有java应用程序日志、consul日志1. 安装jdk1.8rpm -ivh jdk-8u231-linux-x64.rpm[root@logstash patterns]# java -versionjava version "1.8.0_231"Java(TM) SE Runtime En...

安装filebeatlinux安装filebeat采集consul日志，并发送到kafka1. 创建安装目录mkdir -p /opt/servermkdir -p /data/logs2. 下载安装包并解压tar -zxvf filebeat-6.3.1-linux-x86_64.tar.gz3. 重命名文件夹为filebeatmv filebeat-6.3.1-li...