ELK
关注
分享
扫一扫
Coding Farmer
这个作者很懒，什么都没留下…
展开
-
Grok Debugger安装配置
前言：由于使用ELK对日志进行集中管理，grok表达式无法验证是否正确，所以使用Grok Debugger进行调试，但是由于国外网站上不去（http://grokdebug.herokuapp.com/），今天去用国内的一个网站发现也进不去了（http://grok.qiexun.net/），好无奈只能自己动手搭建一个了。。。。时间不多，所以附图不多,如果不想安装的话可以使用现成的（http://...原创 2018-12-10 15:07:20 · 2824 阅读 · 1 评论 -
ElasticSearch中的date类型
引言一直对 elasticsearch 中的 date 类型认识比较模糊，而且在使用中又比较常见,这次决定多花些时间，彻底弄懂它，希望能对用到的同学提供帮助。注意：本文测试使用是 elasticsearch 6.3 版本，其他版本规则可能有所变化，如遇到不兼容的情况，还请参考官方文档Date 数据类型elasticsearch 数据是以 JSON 格式存储的，而JSON中是并没...转载 2019-03-05 12:20:24 · 23777 阅读 · 0 评论 -
ES Curator的使用及其配置
Curator Curator是elasticsearch 官方的一个索引管理工具，可以通过配置文件的方式帮助我们对指定的一批索引进行创建/删除、打开/关闭、快照/恢复等管理操作。 ES版本为6.5.4，Curator版本为5.6 ES和Curator版本对应关系 Curator source安装方式： https://www.elastic.co/guide/en/el...原创 2019-03-15 13:55:03 · 7285 阅读 · 2 评论 -
Logstash收集日志丢失之时间问题
很傻X的一个问题，但是还是要把他记录下来logstash导入到es中，发现丢失数据，查看logstash日志发现是转还日期问题日志转换异常，导致数据导入不到索引中，也不会出现_grokparsefailure，导致数据丢失，所以我配置的错误日志日志文件中不存在该错误日志，我用动态模板都把他设置成string类型(es为2.x.x)，match:"*"，不知道为什么他有变成date类型...原创 2019-03-07 18:09:20 · 18355 阅读 · 0 评论 -
Elasticsearch 6.x Mapping设置
Mapping类似于数据库中的表结构定义，主要作用如下：定义Index下字段名（Field Name） 定义字段的类型，比如数值型，字符串型、布尔型等 定义倒排索引的相关配置，比如是否索引、记录postion等需要注意的是，在索引中定义太多字段可能会导致索引膨胀，出现内存不足和难以恢复的情况，下面有几个设置：index.mapping.total_fields.limit：一个索...转载 2019-03-20 15:50:25 · 8988 阅读 · 0 评论 -
ES单个字段超过最大长度存入失败问题
ES版本为2.x，其他版本也是同样道理 由于使用logstash向ES传送数据，_tempalte设置的字段默认为不分词，由于日志数据都是一个请求一个响应但是在程序中发现请求的日志数据丢失 查看ES日志显示 java.lang.IllegalArgumentException: Document contains at least one immense term in field=...原创 2019-03-20 16:07:06 · 13975 阅读 · 0 评论 -
ES6.5.4中使用X-Pack
介绍 X-Pack是一个弹性堆栈扩展，提供安全性、警报、监视、报告、机器学习和许多其他功能。默认情况下，当您安装Elasticsearch时，将安装X-Pack。 如果你想尝试所有的X-Pack功能，你可以开始30天的试用。在试用期结束时，您可以购买订阅，以继续使用X-Pack组件的全部功能。有关更多信息，请参见https://www.elastic.co/subscrip...原创 2019-03-18 17:25:36 · 1767 阅读 · 0 评论 -
ES API查询日期类型问题
当template指定"dynamic_date_formats":["yyyy-MM-dd HH:mm:ss.SSS"]时候，@timestamp格式还是为日期类型，但是你在logstash使用date插件将日志中的日期时间字段转换为es自动识别的格式（2019-03-11T13:39:40.290Z），这时候es也不会将他识别为date类型，因为他就不符合你的日期类型格式。如果日期类型的格式被...原创 2019-03-13 13:33:23 · 15090 阅读 · 3 评论 -
Logstash自定义正则文件编码问题
启动logstash的时候报错 排查之后看到自定义正则文件中有乱码问题,解决乱码问题之后启动成功 错误信息如下 Pipeline aborted due to error {:exception=>"ArgumentError", :backtrace=>["org/jruby/RubyRegexp.java:1657:in `=~'", "/home/weblogic...原创 2019-03-22 11:19:33 · 541 阅读 · 0 评论 -
Logstash6.5.4安装配置
logshtash介绍： https://www.elastic.co/products/logstash Logstash is an open source, server-side data processing pipeline that ingests data from a multitude of sources simultaneously, transforms it, an...原创 2019-03-29 16:52:04 · 5768 阅读 · 2 评论 -
ES分片报unassigned原因为ALLOCATION_FAILED（由于分片分配失败导致未分配）
现象：单节点ES，interface-index-2019.04.26的索引主分片有unassigned，所以ES健康值显示Red，后面的索引日志没有收集到ES中。查看原因：错误原因："unassigned_info": { "reason": "ALLOCATION_FAILED", "at": "2019-04-28T05:02:37.262Z", "det...原创 2019-04-28 15:30:44 · 10880 阅读 · 2 评论 -
ElasicSearch配置文件常用配置总结
配置文件位于es根目录的config目录下面，有elasticsearch.yml和logging.yml两个配置，主配置文件是elasticsearch.yml，日志配置文件是logging.yml，elasticsearch调用log4j记录日志，所以日志的配置文件可以按照默认的设置。所有的配置都可以使用环境变量，例如：node.rack: ${RACK_ENV_VAR}表示环境变量中有...原创 2019-05-29 17:16:35 · 503 阅读 · 0 评论 -
ES maping 学习笔记
一Filed type(字段类型)1.核心数据类型：String datatypestringNumeric datatypeslong, integer, short, byte, double, floatDate datatypedate默认format："strict_date_optional_time||epoch_millis"是或的关系strict...转载 2019-03-05 10:08:38 · 13332 阅读 · 0 评论 -
logstash的各个场景应用（配置文件均已实践过）
场景：1）datasource->logstash->elasticsearch->kibana2）datasource->filebeat->logstash-> elasticsearch->kibana3）datasource->filebeat->logstash->redis/kafka->logstas...转载 2019-03-05 10:05:22 · 13980 阅读 · 0 评论 -
Elasticsearch、Kibana6.5.4服务搭建及错误处理
环境为阿里云Centos7目前ES最新版本为6.5.4，kibana最新版本为6.5.4 安装ES必须配置JDK，不为什么，ESjava语言开发的安装ESLinux版本ES下载地址：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.4.tar.gztar -zxvf elasticsear...原创 2019-01-11 20:14:41 · 1933 阅读 · 2 评论 -
ElasticSearch6.5.4安装elasticsearch-head插件,IK分词插件
elasticsearch-head插件的安装以前装过低版本的直接放入到es的plugins目录下就行了，5.0以后独立运行。 安装elasticsearch-head插件需要nodejs的支持 nodejs Linux Binaries (x64)下载地址：https://nodejs.org/dist/v10.15.0/node-v10.15.0-linux-x64.tar.xz ...原创 2019-01-13 20:31:32 · 2697 阅读 · 2 评论 -
Logstash6.5.4的sincedb文件存放路径
由于测试玩耍，读取日志文件之后就不重新读取，需要每次把sincedb文件删除了，才会重新读取日志文件 低版本的Logstash2.4.0默认的sincedb文件目录在home目录下，通过ll -a就可以查看到 但是：Logstash6.5.4在home目录下没有找到 使用：find / -name .sincedb_* 查看到sincedb文件在 /usr/local/logstash-...原创 2019-01-14 17:21:29 · 4390 阅读 · 7 评论 -
ElasticSearch原理
分片和副本shard代表索引分片，es可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上。构成分布式搜索。 index包含多个shard，将数据拆成多台节点进行存放，解决单机容量问题，在ES分片技术中分为主分片（primary shard）和副分片（replica shard） 每个shard都是一个最小的工作单元，承载部分数据，每个shard都...原创 2019-01-31 16:53:04 · 5338 阅读 · 0 评论 -
FileBeat+Logstash+Elasticsearch+Kibana集群环境搭建
ELKB架构模式图为 日志文件通过Filebeat组件（Filebeat安装步骤查看：Filebeat6.5.4安装及收集日志文件）将日志信息搜集到Logstas组件（Logstash安装步骤查看：Logstash6.5.4安装配置）里进行数据清洗,再传输到Elasticsearch集群（Elasticsearch集群环境搭建：ElasticSearch6.5.4集群搭建）中存储，再进行ki...原创 2019-03-29 14:54:43 · 4781 阅读 · 0 评论 -
ElasticSearch6.5.4集群搭建
ES集群中索引可能由多个分片构成，并且每个分片可以拥有多个副本。通过将一个单独的索引分为多个分片，我们可以处理不能在一个单一的服务器上面运行的大型索引，简单的说就是索引的大小过大，导致效率问题。不能运行的原因可能是内存也可能是存储。由于每个分片可以有多个副本，通过将副本分配到多个服务器，可以提高查询的负载能力。默认情况下是一个索引5个主分片，每个主分片对应一个副分片。如果是单节点ES，可以用GET...原创 2019-01-29 11:48:57 · 2349 阅读 · 1 评论 -
Logstash导入数据到Elasticsearch时自定义mapping
template概念使用logstash导入数据到ES中由于索引按天拆分，手动创建mapping非常麻烦，ES内部维护了template，template定义好了mapping，如果索引的名称被template匹配到，那么该索引的mapping就按照template中定义的mapping自动创建。而且template中定义了索引的主分片和副分片的数量，分词等属性。每个模板都有一个名字用于描...原创 2019-02-18 17:01:15 · 17337 阅读 · 0 评论 -
Filebeat6.5.4安装及收集日志文件
wgethttps://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.5.4-linux-x86_64.tar.gz tar -zxvf filebeat-6.5.4-linux-x86_64.tar.gz -C /usr/local/ cd /usr/local/filebeat-6.5.4-linux-x86_64/...原创 2019-02-19 10:23:11 · 3521 阅读 · 0 评论 -
ELK+Filebeat 集中式日志解决方案详解
ELK Stack 简介ELK 不是一款软件，而是 Elasticsearch、Logstash 和 Kibana 三种软件产品的首字母缩写。这三者都是开源软件，通常配合使用，而且又先后归于 Elastic.co 公司名下，所以被简称为 ELK Stack。根据 Google Trend 的信息显示，ELK Stack 已经成为目前最流行的集中式日志解决方案。Elasticsearch：分...转载 2019-02-19 10:36:36 · 1962 阅读 · 0 评论 -
ES的RESTFUL API 一些常用命令案例
#查看集群健康情况GET /_cat/health?v###查看有哪些索引GET /_cat/indices?vGET /_cat/indices#使用post全部覆盖方式，修改内容，需要全部指定字段PUT /index/user/1{ "name" : "zs", "age" : 13, "sex":"男"}#使用_update,修改指定字段内容,部分替换（...原创 2019-02-25 11:26:24 · 16179 阅读 · 0 评论 -
ElasticSearch API在Java中的增删改查
一、引入ES客户端依赖 <!--elsaticsearch的客户端--> <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>transport</artifactId>...原创 2019-02-25 14:19:31 · 15369 阅读 · 6 评论 -
ES2.4.0之Search Guard2.4.0.12安装与配置
一、介绍Search Guard是一个开源的安全插件，用于Elasticsearch和整个搜索提供加密、认证、授权和审计日志的ELK堆栈多租户和遵从性特性。官网地址为：https://search-guard.com/二、所需安装包下载search-guard-2-2.4.0.12.zip 下载地址：https://search.maven.org/remotecontent?fi...原创 2019-06-13 16:25:56 · 949 阅读 · 0 评论