ELK
宁缺100
迈出的步伐不非得很大,只要你是在往正确的方向前行就行
展开
-
ELK安全配置
之前工作 需要花了两个月时间部署上线一套 ELK分布式日志系统, 现在空下来整理整理 也好总结回顾下,温故而知新未完待续.....ELK安全配置官方提供x-pack组件,进行安全防护,报表,集群实时监控。只安装x-pack中的Shield只是对 kibna放在公网 对kibna进行登录验证的话,可以用nginx 代理功能1.nginx代理2.使用Shield3....转载 2018-06-26 20:09:05 · 822 阅读 · 0 评论 -
Elasticsearch脑裂现象
前段时间系统压测,非常好运的遇到了传说中的脑裂现象(心中满是无奈~),在此写个博记录下现象同时出现多个master 访问不同的节点,会发现集群状态不一样,可用节点数不一样可能的原因节点负载 master节点同时扮演master和data角色的话,当工作节点负载太大或者遇到full gc ,导致对es实例响应停止响应, 这个时候其它节点以为maste...原创 2018-07-04 10:25:40 · 1344 阅读 · 0 评论 -
Shell 脚本定时清理elasticsearch的数据
前段时间系统在做压力测试,所以导致日志量巨大,几乎每个小时将两台 日志服务器的硬盘(共140G)撑爆,所以需要写个定时脚本清理数据,在此记录一下编写脚本vi /home/duhj/clear.sh#!/bin/shcurl -XDELETE 'http://192.169.13.59:9200/cib_log*'设置定时任务crontab -e写入*/5...原创 2018-07-04 10:21:34 · 3073 阅读 · 0 评论 -
正则表达式
正则表达式工作模式-贪婪模式,尽可能匹配可能长的匹配字符,所有*匹配所有,匹配短用 \? 或者 .?元字符:不代表字符本身的含义 代码 说明 . 匹配除换行符以外的任意字符 \w 匹配字母或数字或下划线或汉字 \s 匹配任意的空白符 ...原创 2018-06-27 21:29:49 · 608 阅读 · 0 评论 -
安装elasticsearch、logstash、filebeat
环境 1. Linux rhel-server-6.9-x86_64-dvd master 192.168.13.149data 192.168.13.150 JDK1.8 安装elasticsearch5.0————-master节点上 安装logstash-5.0.0.zip———–master节点上 安装filebeat6.1...原创 2018-06-20 11:38:56 · 310 阅读 · 0 评论 -
logstash监控日志文件变化
原理Logstash 使用一个名叫 FileWatch 的 Ruby Gem 库来监听文件变化。这个库支持 glob 展开文件路径,而且会记录一个叫 .sincedb 的数据库文件来跟踪被监听的日志文件的当前读取位置。所以,不要担心 logstash 会漏过你的数据。 实现创建监控日志[xingye@localhost logstash5.0]$ mkdir tempfi原创 2018-01-07 16:05:52 · 4341 阅读 · 0 评论 -
基于ELK搭建分布式日志管理平台----系统环境情况
系统组件 所在服务器 elasticsearch master logstash master filebeat data1 data2 kibna master Hosts IP地址 用户名 密码 master 192.168.13.153 xing xing xingdata1原创 2018-02-04 18:31:49 · 338 阅读 · 0 评论 -
初步使用elasticsearch
创建一个雇员目录。该目录应当能培养雇员认同感及支持实时、高效、动态协作,因此有一些业务需求:支持包含多值标签、数值、以及全文本的数据检索任一雇员的完整信息允许结构化搜索,比如查询 30 岁以上的员工允许简单的全文搜索以及较复杂的短语搜索支持在匹配文档内容中高亮显示搜索片段支持基于数据创建和管理分析仪表盘 列出可用的索引 curl ‘localhost:9200/_cat/in原创 2018-01-07 16:03:45 · 168 阅读 · 0 评论 -
倒排索引--搜索引擎基础
单词-文档矩阵 单词\文档 文档1 文档2 文档3 单词1 单词2 倒排索引 基本概念其实是对单词-文档的一种具体存储形式。包括单词词典和倒排文件。单词词典: 文档集合中出现过的单词组成的字符串集合。 单词为索引单位,包含单词信息和指向倒排列表的指针。倒排列表原创 2018-01-07 16:02:38 · 273 阅读 · 0 评论 -
Elasticsearch高可用和路由规则
Lucene迄今为止最先进,性能最好的,功能最全的搜素引擎库。Elasticsearch基于Apache Lucene 开源的搜素引擎,以Lucene为核心进行了封装,提供相关RestFul API 的调用方式,让使用更加简单有效。ELK stack以Elasticsearch为核心组件,日志通过Logstash 进行解析和结构化的构造,然后输入Elastic...原创 2018-06-26 20:58:38 · 4087 阅读 · 0 评论 -
Kibana插件开发
开发环境插件模板集成EchartjsDemo前段时间工作需要,在kibana上开发一个界面分析展示一些数据便硬着头皮研究,前端框架没用过几个,可能有错,欢迎指正开发环境安装nodejs检查版本启动elasticsearch源码启动kibna插件工具安装 6.3即以上的自带工具安装nodejs 在线安装Nodejs指定版本安装nvm...原创 2018-11-30 15:39:33 · 1298 阅读 · 6 评论