- 博客(17)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Logstash6.5.4安装配置
logshtash介绍： https://www.elastic.co/products/logstash Logstash is an open source, server-side data processing pipeline that ingests data from a multitude of sources simultaneously, transforms it, an...
2019-03-29 16:52:04
5764
2
原创 FileBeat+Logstash+Elasticsearch+Kibana集群环境搭建
ELKB架构模式图为 日志文件通过Filebeat组件（Filebeat安装步骤查看：Filebeat6.5.4安装及收集日志文件）将日志信息搜集到Logstas组件（Logstash安装步骤查看：Logstash6.5.4安装配置）里进行数据清洗,再传输到Elasticsearch集群（Elasticsearch集群环境搭建：ElasticSearch6.5.4集群搭建）中存储，再进行ki...
2019-03-29 14:54:43
4771
转载 深入 Redis 主从复制的原理详解
文章目录：1、复制过程2、数据间的同步3、全量复制4、部分复制5、心跳6、异步复制复制原理1.复制过程复制的过程步骤如下：1、从节点执行 slaveof 命令2、从节点只是保存了 slaveof 命令中主节点的信息，并没有立即发起复制3、从节点内部的定时任务发现有主节点的信息，开始使用 socket 连接主节点4、连接建立成功后，发送 ping ...
2019-03-28 17:18:37
4623
2
原创 Thymeleaf模版页面内嵌JS不能使用for循环问题
在thymeleaf中直接嵌套<script></script>使用for循环报错 org.xml.sax.SAXParseException: 元素内容必须由格式正确的字符数据或标记组成。 at com.sun.org.apache.xerces.internal.util.ErrorHandlerWrapper.createSAXParseException(...
2019-03-26 16:54:07
1956
原创 Logstash自定义正则文件编码问题
启动logstash的时候报错 排查之后看到自定义正则文件中有乱码问题,解决乱码问题之后启动成功 错误信息如下 Pipeline aborted due to error {:exception=>"ArgumentError", :backtrace=>["org/jruby/RubyRegexp.java:1657:in `=~'", "/home/weblogic...
2019-03-22 11:19:33
529
转载 授权普通用户Linux crontab定时任务
项目需求，在Linux下做个定时任务，而且是普通用户下可控的。网上找资料，方向没找对，就暂时用root用户做定时任务。最后别人提示用sudo，才有了这篇文章。下面就说一下方法：1.创建任务（普通用户）crontab-e编辑计划任务加上任务，如下行*/2****cd/home/sky/apache-activemq-5.11.1/bin/;./activemqs...
2019-03-21 09:41:35
2163
原创 ES单个字段超过最大长度存入失败问题
ES版本为2.x，其他版本也是同样道理 由于使用logstash向ES传送数据，_tempalte设置的字段默认为不分词，由于日志数据都是一个请求一个响应但是在程序中发现请求的日志数据丢失 查看ES日志显示 java.lang.IllegalArgumentException: Document contains at least one immense term in field=...
2019-03-20 16:07:06
13935
转载 Elasticsearch 6.x Mapping设置
Mapping类似于数据库中的表结构定义，主要作用如下：定义Index下字段名（Field Name） 定义字段的类型，比如数值型，字符串型、布尔型等 定义倒排索引的相关配置，比如是否索引、记录postion等需要注意的是，在索引中定义太多字段可能会导致索引膨胀，出现内存不足和难以恢复的情况，下面有几个设置：index.mapping.total_fields.limit：一个索...
2019-03-20 15:50:25
8970
原创 ES6.5.4中使用X-Pack
介绍 X-Pack是一个弹性堆栈扩展，提供安全性、警报、监视、报告、机器学习和许多其他功能。默认情况下，当您安装Elasticsearch时，将安装X-Pack。 如果你想尝试所有的X-Pack功能，你可以开始30天的试用。在试用期结束时，您可以购买订阅，以继续使用X-Pack组件的全部功能。有关更多信息，请参见https://www.elastic.co/subscrip...
2019-03-18 17:25:36
1746
转载 /bin/bash^M: bad interpreter: 没有那个文件或目录
运行脚本时出现了这样一个错误，打开之后并没有找到所谓的^M，查了之后才知道原来是文件格式的问题，也就是linux和windows之间的不完全兼容。。。具体细节不管，如果验证：vim test.sh:set ff?如果出现fileforma＝dos那么就基本可以确定是这个问题了。:set fileformat=unix:wqOK了。。。。。。。bash: ./eth0-acces...
2019-03-15 17:19:28
373
原创 ES Curator的使用及其配置
Curator Curator是elasticsearch 官方的一个索引管理工具，可以通过配置文件的方式帮助我们对指定的一批索引进行创建/删除、打开/关闭、快照/恢复等管理操作。 ES版本为6.5.4，Curator版本为5.6 ES和Curator版本对应关系 Curator source安装方式： https://www.elastic.co/guide/en/el...
2019-03-15 13:55:03
7261
2
原创 ES API查询日期类型问题
当template指定"dynamic_date_formats":["yyyy-MM-dd HH:mm:ss.SSS"]时候，@timestamp格式还是为日期类型，但是你在logstash使用date插件将日志中的日期时间字段转换为es自动识别的格式（2019-03-11T13:39:40.290Z），这时候es也不会将他识别为date类型，因为他就不符合你的日期类型格式。如果日期类型的格式被...
2019-03-13 13:33:23
15010
3
原创 Logstash收集日志丢失之时间问题
很傻X的一个问题，但是还是要把他记录下来logstash导入到es中，发现丢失数据，查看logstash日志发现是转还日期问题日志转换异常，导致数据导入不到索引中，也不会出现_grokparsefailure，导致数据丢失，所以我配置的错误日志日志文件中不存在该错误日志，我用动态模板都把他设置成string类型(es为2.x.x)，match:"*"，不知道为什么他有变成date类型...
2019-03-07 18:09:20
18334
原创 Redis事务
什么是事务 事务是指一系列操作步骤，这一系列的操作步骤，要么完全地执行，要么完全地不执行。Redis中的事务（transaction）是一组命令的集合，至少是两个或两个以上的命令，redis事务保证这些命令被执行时中间不会被任何其他操作打断。 事务操作的命令 mutil 语法： multi 作用：标记一个事务的开始。事务内的多条命令会按照先后顺序被放进一个队列当...
2019-03-05 17:34:31
11284
2
转载 ElasticSearch中的date类型
引言一直对 elasticsearch 中的 date 类型认识比较模糊，而且在使用中又比较常见,这次决定多花些时间，彻底弄懂它，希望能对用到的同学提供帮助。注意：本文测试使用是 elasticsearch 6.3 版本，其他版本规则可能有所变化，如遇到不兼容的情况，还请参考官方文档Date 数据类型elasticsearch 数据是以 JSON 格式存储的，而JSON中是并没...
2019-03-05 12:20:24
23754
转载 ES maping 学习笔记
一Filed type(字段类型)1.核心数据类型：String datatypestringNumeric datatypeslong, integer, short, byte, double, floatDate datatypedate默认format："strict_date_optional_time||epoch_millis"是或的关系strict...
2019-03-05 10:08:38
13325
转载 logstash的各个场景应用（配置文件均已实践过）
场景：1）datasource->logstash->elasticsearch->kibana2）datasource->filebeat->logstash-> elasticsearch->kibana3）datasource->filebeat->logstash->redis/kafka->logstas...
2019-03-05 10:05:22
13973
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人