ELK
beyond丿qq:1559810637
这个作者很懒,什么都没留下…
展开
-
elasticsearch用http请求中携带sql处理数据
首先去https://github.com/NLPchina/elasticsearch-sql下载sql插件原创 2021-06-01 11:36:13 · 354 阅读 · 1 评论 -
企业中项目日志数较多 储存处理方式elk和mysql哪种方式更合适?
博主工作的一个项目里用了elk来存储用户操作日志,日志量大概是每天一千万左右的数据,最近服务器的磁盘被塞满了 本想将时间较长的数据删除掉 但当时删除总是出现版本冲突的错误并且es在单个索引数据达到 亿级以上的时候查询时间也是不乐观的于是乎博主花了点时间将es的日志数据全部查询出来 准备将这些数据包括以后的日志数据都存储到mysql中 博主的日志都是先全部存入kafka然后再通过logstash消费到es中,现改成用java程序消费日志数据存储mysql中由于my...原创 2020-06-12 23:26:36 · 2071 阅读 · 0 评论 -
elasticsearch搭建集群 以及使用kibana和X-pack插件监控集群状态
下载es和kibana就自行百度 或者联系博主假设是第一次安装es的话启动的时候你会报各种错误,由于名堂实在太多 我直接贴一个教程地址:https://docs.qq.com/doc/DRnJ0b1BrV3VyRVZp 里头有安装教程以及学习教程顺带贴上es的sql插件 :https://github.com/NLPchina/elasticsearch-sql ...原创 2019-08-31 12:30:17 · 1380 阅读 · 1 评论 -
elasticsearch根据id修改文档的部分数据
首先贴上用elasticsearch的语法的案例:然后是直接通过http请求达到修改的目的点赞或者评论是我最大的动力,有问题欢迎留言或者联系q:1559810637原创 2019-04-18 09:21:01 · 5413 阅读 · 0 评论 -
elasticsearch将符合条件的数据做删除处理语法
POST cpm_palynotes/_delete_by_query{ "query": { "bool": { "must": [{ "match": { "timestamp":"2019-04-16" } }] } }}其实说白了就是 post 索引名/_delete_by_query 然后括号里跟查询语法就o...原创 2019-04-17 15:23:42 · 2864 阅读 · 0 评论 -
Logstash消费kafka同步数据到elasticsearch的配置文件
input{ kafka{ bootstrap_servers => ["192.169.160.25:7091,192.169.160.26:7092,192.169.160.27:7093,192.169.160.28:7094,192.169.160.29:7095"] #kafka的地址,集群有逗号隔开 client_id => "cpm_add...原创 2019-04-01 23:19:58 · 1305 阅读 · 1 评论 -
使用logstash将数据库中的多张表数据同步到elasticsearch中
直接贴上配置文件,多张表的同步和单张表的同步只有配置文件的不同input { jdbc { # mysql 数据库链接,shop为数据库名 jdbc_connection_string => "jdbc:mysql://数据库IP地址:3306/test?useUnicode=true&characterEncoding=utf8&ser...原创 2019-03-17 11:22:23 · 4112 阅读 · 16 评论 -
Kibana展示使用统计图的方式展示es的数据
点击下图所示位置,然后选择你想要显示的统计图类型然后输入你索引的名称之后进入一个可以设置条件来显示数据的页面我这只是个示例,如果想要知道更多类型的设置和数据展示的类型的话请移步:https://www.elastic.co/guide/cn/kibana/current/createvis.html 统计图样式https://blog.csdn.net/ju...原创 2019-03-06 14:13:50 · 4316 阅读 · 0 评论 -
ElasticSearch在Linux上安装教程,以及常见的报错处理
首先你要安装好jdk和配置好环境变量安装ElasticSearch下载地址:https://www.elastic.co/cn/downloads/elasticsearch然后解压到某个目录下创建用户组和用户:groupadd esgroupuseradd esuser -g esgroup -p espassword更改elasticsearch文件夹及内部文件的所...原创 2018-12-27 13:34:30 · 572 阅读 · 0 评论 -
ElasticSearch6和java加Layui简单的分词,关键字高亮,并且带分页的查询
首先贴上结果贴上核心代码package com.hw.web;import com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONObject;import org.elasticsearch.action.search.SearchResponse;import org.elasticsearch.clien...原创 2018-12-29 17:53:43 · 808 阅读 · 0 评论 -
SpringBoot整合ElasticSearch执行查询操作
对于ElasticSearch的介绍我就不多说了,能看到这篇博客想必你还是了解它是干嘛的,在使用java去连接这个nosql的时候我建议还是事先去学习一下它的语句语法,当你会这些语法的时候用java的api调用它才会更轻松明理,好了话不多说,直接贴代码:maven <dependency> <groupId>org.elasticsearc...原创 2019-03-03 16:53:24 · 1257 阅读 · 0 评论 -
EKL同步mysql数据库数据时@timestamp字段为0时区时间的解决办法
在你的logstash的同步配置文件中加上以下代码即可有另一个字段timestamp为系统当前时间filter { json { source => "message" remove_field => ["message"] } ruby { code => "event.set('timestamp'...原创 2019-03-15 15:50:07 · 428 阅读 · 0 评论