Elasticsearch
文章平均质量分 63
Elasticsearch
BasicLab基础架构实验室
本人深耕基础架构领域,曾在国内500强大厂研发企业级百亿量级吞吐中间件,擅长Java语言、Go语言、Python语言、C语言、NodeJS、Web、Linux、深度学习、大数据、云原生等
展开
-
ELKF日志管理平台搭建教程(四)-分析与可视化平台(Kibana)
文是ELKF日志管理平台搭建教程(四)-分析与可视化平台(Kibana),若要关注前文,请点击传送门:ELKF日志管理平台搭建教程(三)-分布式全文搜索引擎(ElasticSearch)前文我们介绍了全文搜索引擎ElasticSearch。本文介绍ELKF的最后一个组件Kibana,Elasticsearch、Logstash和Kibana这三个技术就是我们常说的ELK技术栈,可以说这三个...原创 2019-05-31 17:30:01 · 985 阅读 · 3 评论 -
ELKF日志管理平台搭建教程(二)-实时数据收集引擎(Logstash)
本文是ELKF日志管理平台搭建教程(二)-实时数据收集引擎(Logstash),若要关注前文,请点击传送门:ELKF日志管理平台搭建教程(一)-轻量级的日志传输工具(Filebeat)前文我们介绍了日志传输工具Filebeat,并且我们已经将Filebeat的output指向了192.168.3.203:5044的Logstash,所以我们本文需要在192.168.3.203:5044这台...原创 2019-05-31 15:08:33 · 1015 阅读 · 2 评论 -
ELKF日志管理平台搭建教程(一)-轻量级的日志传输工具(Filebeat)
由于工作原因,需要搭建一套自己的ELKF日志管理平台,收集系统日志并分析,之Filebeat 已经完全替代了 Logstash-Forwarder 成为新一代的日志采集器,同时鉴于它轻量、安全等特点,越来越多人开始使用它。本专栏是参照开源搜索与分析Elastic官网文档作为主要依据,系统应用示意图上图出自于SpringCloud实战专栏,这两个专栏共同组成了上面的系统应用示意图...原创 2019-05-30 10:59:13 · 1913 阅读 · 2 评论 -
logstash mysql 准实时同步到 elasticsearch
原文地址:https://blog.csdn.net/hatlonely/article/details/79945539mysql 作为成熟稳定的数据持久化解决方案,广泛地应用在各种领域,但是在数据分析方面稍有不足,而 elasticsearch 作为数据分析领域的佼佼者,刚好可以弥补这项不足,而我们要做的只需要将 mysql 中的数据同步到 elasticsearch 中即可,而 logs...转载 2019-01-17 16:24:23 · 370 阅读 · 0 评论 -
谈谈Elasticsearch 和 传统关系型数据库的对比
本帖最后由 mtsbv110 于 2016-3-22 15:03 编辑1、在Elasticsearch中,文档归属于一种 类型(type) ,而这些类型存在于 索引(index)中,类比传统关系型数据库:Relational DB -> Databases -> Tables -> Rows -> Columns关系型数据库 数据库 ...转载 2018-08-20 11:38:30 · 3834 阅读 · 0 评论 -
ElasticSearch基本操作之Builder查询
/** * 系统环境: vm12 下的centos 7.2 * 当前安装版本: elasticsearch-2.4.0.tar.gz */QueryBuilder 是es中提供的一个查询接口, 可以对其进行参数设置来进行查用擦还训package com.wenbronk.javaes;import java.net.InetSocketAddress;import ja...原创 2018-08-20 13:58:15 · 3742 阅读 · 0 评论 -
关于ElasticSearch与MySql的数据存储测试
一直好奇存储大小相同的记录,es和mysql谁占用存储空间更大呢。虽然按道理来看应该是mysql,但一直没有亲自尝试,总还是心里感觉不那么踏实。所以今天做一个测试,看看到底实际情况怎么样? 关于在二者的数据存储,有下面一个大概的说明,可能不够准确,但我只知道这么多:1、ES先将数据存到内存,再通过队列的形式写到磁盘;虽然mysql也有内存模式,但是在大多数实际应用中我们仍然使用的传...转载 2018-08-20 11:45:07 · 1939 阅读 · 2 评论 -
ElasticSearch集群节点扩容提示Failed to send join request to master
原文地址:https://www.jianshu.com/p/dbf896746add现有环境本机伪集群由3个节点组成(slave-9200,slave-9201,slave-9202),3个节点配置分别如下:# ===slave-9200节点配置===cluster.name: my-clusternode.name: slave-9200node.master: true...转载 2019-07-03 16:20:34 · 1200 阅读 · 1 评论 -
ELKF日志管理平台搭建教程(三)-分布式全文搜索引擎(ElasticSearch)
本文是ELKF日志管理平台搭建教程(三)-分布式全文搜索引擎(ElasticSearch),若要关注前文,请点击传送门:ELKF日志管理平台搭建教程(二)-实时数据收集引擎(Logstash)前文我们介绍了Logstash来做数据收集和过滤。本文我们主要介绍ELKF中的ElasticSearch,它主要是用来做日志持久化,我们通过Kibana来获取ElasticSearch中的不同索引数据...原创 2019-05-31 16:35:23 · 701 阅读 · 4 评论 -
logstash-6.2.3从kafka读取日志输出到elasticsearch-6.2.3中
原文地址:https://my.oschina.net/ytqvip/blog/1795122下载 $ wget https://artifacts.elastic.co/downloads/logstash/logstash-6.2.3.tar.gz解压 $ tar -zxvf logstash-6.2.3.tar.gz配置从kafka读取数据输出到ela...转载 2019-06-16 17:22:36 · 1436 阅读 · 5 评论 -
SpringBoot Elasticsearch工具类封装
最近项目需要封装Elasticsearch工具类,特此记录便于日后查阅。1、maven依赖<dependency> <groupId>org.elasticsearch.plugin</groupId> <artifactId>transport-netty4-client</artifactId> &l...原创 2019-06-19 11:59:28 · 7025 阅读 · 7 评论 -
Java创建elasticsearch的model时,如何配置使用ik分词器?
原文地址:https://www.jianshu.com/p/ea6da69f4492在需要分词的属性上面加注解: @Field(type = FieldType.text, analyzer = "ik_max_word", searchAnalyzer = "ik_max_word")即可。例如:@Document(indexName = "people_v1",...转载 2019-07-08 17:41:03 · 1609 阅读 · 0 评论 -
Elasticsearch语法学习
参照以下教程学习即可,传送门:http://www.youmeek.com/category/elasticsearch/转载 2019-07-09 10:44:02 · 353 阅读 · 0 评论 -
Elasticsearch常见的问题
原文地址:https://www.jianshu.com/p/1d5257eecf08环境配置ES版本:5.4.3 系统:CentOS release 6.x spring-data-elasticsearch:3.0.0.RELEASE spring:5.0.1.RELEASE问题1.本地访问es的restful接口不通需要更改下面配置(elasticsearch.yml...转载 2019-07-02 19:03:44 · 2860 阅读 · 4 评论 -
SpringBoot Elasticsearch组合查询封装
最近项目组需要用到Elasticsearch,封装了ESQueryBuilder方便条件组合,结合ES工具类使用效果更佳,下面是ES工具类传送门:SpringBoot Elasticsearch工具类封装本文包括ES四大查询模式构建工具类,一个查询模式定义类,一个构建工厂类,一个最终拼装类。使用了简单工厂设计模式加反射,特此记录便于日后查阅。1、代码结构2、maven依赖...原创 2019-06-19 12:53:50 · 4391 阅读 · 7 评论 -
严选 | Elasticsearch史上最全最常用工具清单
原文地址:https://blog.csdn.net/laoyang360/article/details/80645710有时间再转载过来,先放个原文连接。转载 2019-04-01 14:10:29 · 289 阅读 · 0 评论 -
Elasticsearch日期格式化
参照以下文章进行日期格式化即可,传送门:https://blog.csdn.net/smilepasta035/article/details/79550400转载 2019-07-09 11:14:25 · 10248 阅读 · 0 评论 -
ElasticSearch实战(四十二)-数据离线同步技术选型
ElasticSearch 需要把存储在三方存储引擎中的数据进行同步,比如 Mysql/PostgreSQL/Cassandra/HBase将数据离线同步到ElasticSearch中,他们中间的数据传输需要通过三方中间件,这边离线同步技术栈选型有几种:一、Logstash Logstash 能够动态地采集、转换和传输数据,不受格式或复杂度的影响。拥有 200 多个插件。您可以将不同的输入选择、过滤器和输出选择混合搭配、精心安排,让它们在管道中和谐地运行。原创 2021-09-20 19:28:42 · 553 阅读 · 0 评论 -
ElasticSearch实战(五十)-让Elasticsearch飞起来!百亿级数据存储与查询优化实战!!!
等我凑够15台笔记本,召唤神龙!等我!!! --continue原创 2021-09-25 15:45:41 · 983 阅读 · 1 评论 -
ElasticSearch实战(四十六)-数据实时同步技术选型
本文中讲的几个技术栈都是基于一个叫做 CDC(Change Data Capture)的理论衍生出出来的,大概可以机翻为 “变动数据捕获”,你可以将它视为和数据库有关的架构设计模式的一种。它的核心思想是,监测并捕获数据库的变动(包括数据或数据表的插入,更新,删除等),将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。我们可以把 CDC 认为是数据库事件驱动的一种数据 / 信息分发系统,CDC 主要适用于以下的场景: 1原创 2021-09-22 15:02:33 · 632 阅读 · 0 评论 -
Elasticsearch的高阶使用方法有哪些?
学习计划安排,关于搜索功能:搜索结果过滤的补充说明。 布尔组合查询、范围查询…等多种高级查询。 以及非常重要的聚合查询,其两种常用类型:桶和度量的说明与使用。昨天学了match匹配和term匹配,这是两种最基础也很重要的查询方式,使用起来也简单。一、结果过滤补充一个知识点,关于结果过滤。先将例子中索引库的数据做一个简单的说明,昨天的学习中也有详细介绍。索引库liuxiaoai01中有title和price两个字段,添加了“小爱手机”、“大爱手机”、“超爱手机”和“小爱电视”一共转载 2021-08-15 17:36:21 · 539 阅读 · 0 评论 -
ElasticSearch实战(四十)-度量值聚合
度量值聚合基于以某种方式从正在聚合的文档中提取的值来计算度量。这些值通常从文档的字段中提取(使用字段数据),但也可以使用脚本生成。数值度量聚合是一种输出数值的特殊类型的度量聚合。一些聚合输出单个数值度量(例如平均值),称为单值度量聚合,另一些输出多个度量值(例如统计数据),称为多值数值度量聚合。单值与多值数值度量聚合的区别是,他们充当某些桶聚合(比如某些桶聚合可以基于每个桶的数值度量对返回的桶进行排序)的直接子聚合时发挥了不同的作用。 1、均值聚合...原创 2021-09-20 13:46:40 · 426 阅读 · 0 评论 -
ElasticSearch实战(四十一)-存储桶聚合
Elasticsearch除了在搜索方面非常之快,对数据分析也是非常重要的一面。正确理解Bucket aggregation对我们使用Kibana非常重要。Elasticsearch提供了非常多的aggregation可以供我们使用。其中Bucket aggregation对于初学者来说也是比较不容易理解的一个。在今天的这篇文章中,我来重点讲述这个。简单地说:一个桶代表一个具有共同标准的文档集合。存储桶(bucket)是聚合的关键要素。比如,我们想分析每个月的log流量:...原创 2021-09-20 14:30:55 · 461 阅读 · 0 评论 -
ElasticSearch实战(三十九)-聚合框架
聚合是 ElasticSearch 强大功能之一,是关系分析、知识图谱、统计相关不可缺少的强大功能,ES中包含四类聚合方式:存储桶聚合、度量值聚合、矩阵聚合、管道聚合。ElasticSearch 中聚合的概念,通俗的讲就是按照一些条件从一个数据集中去统计一些信息,比如统计酒店房间有多少,根据价格区间统计酒店数量这些功能。官网的解释:聚合可以进行各种组合以构建复杂的数据汇总。可以看作是在一组文档上建立分析信息的工作单元,统计一些文档集。聚合可以将一些独立...原创 2021-09-20 13:20:43 · 252 阅读 · 0 评论 -
ElasticSearch实战(四十九)-Flink 大数据实时同步方案
工作中难免会涉及到比前文介绍的更加复杂的关联计算场景,这个时候业界做法是用大数据Flink集群来做海量数据实时同步关联计算。一、Flink应用场景 ——因为涉及到要用写Flink相关代码,所以我打算先写完Flink专栏再来写这篇文章。原创 2021-09-25 15:41:25 · 644 阅读 · 0 评论 -
SpringBoot ElasticSearch 实现模糊查询,批量CRUD,排序,分页,高亮
创建对应的请求 --> 设置请求(添加规则,添加数据等) --> 执行对应的方法(传入请求,默认请求选项)–> 接收响应结果(执行方法返回值)–> 输出响应结果中需要的数据(source,status等)注意:需要将User对象中的属性全部指定值,不然会被设置为空,如User只设置了名称,那么只有名称会被修改成功,其他会被修改为null。,如果索引发生改变了,那么代码都需要修改,可以定义一个枚举类或者一个专门存放常量的类,将变量用。注意:如果添加时不指定文档ID,他就会随机生成一个ID,ID唯一。原创 2022-12-12 16:51:38 · 218 阅读 · 0 评论 -
ELASTICSEARCH7.4 免费启用X-PACK插件 设置账号、权限 包含错误--ERROR: FAILED TO SET PASSWORD FOR USER [APM_SYSTEM]
kibana面板本来用不同的用户空间开放给不用的用户使用,但是不同的面板空间都需要新建索引管理,很不方便;官方给的消息说从6.8 和 7.1 开始默认提供x-pack的安全功能,虽然只是一部分,但也够用了。,vim /etc/kibana/kibana.yml (使用的是kibana用户,但是登陆还的用超管用户--elastic);,就能启用,如果出现问题;这样就可以根据不同的用户分配权限了,还是官网自产的东西便于使用。8. 配置成功后,登陆kibana,在【管理】中发现多了【安全】的配置;原创 2022-10-08 16:09:25 · 2734 阅读 · 0 评论 -
ElasticSearch工具类封装
最近在项目中有看到一种比较实用的ElasticSearch工具类封装方式,特此记录便于日后查阅。 1、controller层@RequestMapping(value = "/uri/page", method = RequestMethod.GET)public DataResult page( @RequestParam(name = "pageIndex") Integer pageIndex, @RequestParam(name = "pa...原创 2022-01-10 16:42:30 · 2372 阅读 · 0 评论 -
ElasticSearch关闭重启命令
很多人学习elasticSearch都是自学,想百度一下如何重启es也是没有答案,我硬着头皮,算是琢磨出来了,借此写博,希望能帮助您。原创 2022-10-08 16:15:41 · 4742 阅读 · 1 评论 -
SpringBoot 调用设置密码的 Elasticsearch
最近项目中使用到的Elasticsearch是设置密码的,所以我们在Springboot中使用的过程中也需要指定密码才可以连接到Elasticsearch,特此记录便于日后查阅。打开 http://127.0.0.1:8082/all/addDocument 密码访问就完成了。修改ElasticSearchConfiguration类。原创 2023-01-03 10:07:27 · 2176 阅读 · 4 评论 -
Elasticsearch7.7设置账号密码时的逻辑矛盾问题
网上找了一些资料,包括google,但也都没有解决:比如 https://stackoverflow.com/questions/61884976/apply-security-on-elk-cluster-authentication-issue 这里说把所有的节点都加上上面的X-pack配置重启,然后使用auto进行密码设置。你去看看你们公司的REDIS服务器,看看有多少设置了密码,至少我公司不相关的部门的业务,他们的REDIS我都能远程登录(因对接关系我知道了redis服务器IP)。原创 2022-10-08 16:03:29 · 3270 阅读 · 10 评论 -
ElasticSearch异常情况监控处理
在公司使用Canal-Server作为数据同步监听,在同步过程中,会出现各种问题异常原创 2022-07-01 17:37:59 · 1257 阅读 · 2 评论 -
Elasticsearch 千万级数据查询方案对比
在开发中遇到一个业务诉求,需要在千万量级的底池数据中筛选出不超过 10W 的数据,并根据配置的权重规则进行排序、打散(如同一个类目下的商品数据不能连续出现 3 次)。下面对该业务诉求的实现,设计思路和方案优化进行介绍。多线程+CK 翻页方案ES scroll scan 深翻页方案ES+Hbase 组合方案RediSearch+RedisJSON 组合方案本文从一个业务诉求触发,对“千万量级数据中查询 10W 量级的数据”介绍了不同的设计方案。原创 2023-01-03 09:42:13 · 2595 阅读 · 1 评论 -
Elasticsearch 设置用户名密码认证(亲测)
Elasticsearch安装不会默认开启用户名密码验证,直接访问http://127.0.0.1:9200会显示elasticsearch信息,很明显,这样是不安全的;那如何开启简单的用户名密码验证呢?Elasticsearch示例版本:7.12.3。原创 2022-10-08 16:18:52 · 701 阅读 · 0 评论