Elasticsearch
文章平均质量分 77
尘光掠影
摒弃洋洋洒洒、长篇大论的博客,用最简洁的代码,讲清楚最复杂的道理~
展开
-
ELK生态:ES中的数据关联查询
1、前言对于solr来说是无法做两个collection之间的关联的,es是否可以做到类似于表的join关联那,这就是本篇需要研究的内容,主要参考内容是官方文档。先说下结论,如果不做特殊处理,es是无法完成类似与表Join的关联查询的。2、ES如何做关联官网里面有几种支持关联查询的办法:2.1 应用程序做关联 这个没有什么好说的,其实不算真正的关联,需要先查询...转载 2020-03-28 11:46:52 · 8421 阅读 · 0 评论 -
ELK生态:分布式文档存储往ES中存数据和取数据的原理
分布式文档存储ES分布式特性屏蔽了分布式系统的复杂性 集群内的原理 垂直扩容和水平扩容 真正的扩容能力是来自于水平扩容–为集群添加更多的节点,并且将负载压力和稳定性分散到这些节点中 ES集群特点一个集群拥有相同的cluster.name 配置的节点组成, 它们共同承担数据和负载的压力 主节点负责管理集群的变更例如增加、删除索引,或者增加、删除节点等。 而主节点并...转载 2020-03-27 11:08:47 · 1124 阅读 · 1 评论 -
ELK生态:es数据备份与恢复
数据备份 描述: es引入仓库与快照的概念实现了数据的备份与恢复,在elasticsearch.yml中指定仓库的base目录,创建仓库,将快照创建在指定的仓房中即可实现索引的备份。 解决的问题: 备份指定的索引 备份全部索引 答疑 快照的过程可以后台进行 快照时会将保存该索引的全部数据 同一仓库下的同一快照只能执行一次。 本次快照会基于上次仓库之前的快照进行增...转载 2020-03-27 10:56:05 · 576 阅读 · 0 评论 -
Elasticsearch--- 基本概念(Index、Type、Document、集群、节点、分片及副本、倒排索引)
这篇博客讲到基本概念包括:Index、Type、Document。集群,节点,分片及副本,倒排索引。一、Index、Type、Document1、Indexindex:索引是文档(Document)的容器,是一类文档的集合。索引这个词在 ElasticSearch 会有三种意思:1)、索引(名词)类比传统的关系型数据库领域来说,索引相当于SQL中的一个数据库(Databa...转载 2020-03-24 17:40:58 · 1529 阅读 · 1 评论 -
ELK生态:Logstash增量读取csv文件数据,导入到Elasticsearch
简介ELK生态之Logstash导入数据到Elasticsearch; 数据源:csv格式文件; Elasticsearch和Logstash版本:5.6.1; 前提环境:Elasticsearch单机或集群;Logstash客户端;实践csv文件内容:"sixmonth","23","男","1998/6/3 18:31:46""xiaoming","23","男","19...原创 2019-06-14 19:12:53 · 5306 阅读 · 5 评论 -
ELK生态:Logstash增量读取txt文件数据,导入到Elasticsearch
简介ELK生态之Logstash导入数据到Elasticsearch; 数据源:txt格式文件,内容为json或json数组; Elasticsearch和Logstash版本:5.6.1; 前提环境:Elasticsearch单机或集群;Logstash客户端;实践txt文件内容:[{"name":"sixmonth","sex":"男"},{"name":"xiaoming...原创 2019-06-14 19:28:44 · 5299 阅读 · 0 评论 -
ELK生态:Logstash增量读取log文件数据,导入到Elasticsearch
简介ELK生态之Logstash导入数据到Elasticsearch; 数据源:log格式文件,内容为log日志; Elasticsearch和Logstash版本:5.6.1; 前提环境:Elasticsearch单机或集群;Logstash客户端;实践log文件内容:01-Apr-2019 08:17:04.787 SEVERE [ajp-nio-8009-exec-7] ...原创 2019-06-17 11:07:43 · 4645 阅读 · 0 评论 -
ELK生态:Logstash读取json格式文件数据,导入到Elasticsearch
简介ELK生态之Logstash导入数据到Elasticsearch; 数据源:json格式文件,内容为json; Elasticsearch和Logstash版本:5.6.1; 前提环境:Elasticsearch单机或集群;Logstash客户端;实践json文件内容:{"name":"sixmonth","age":"23","sex":"男","address":"深圳...原创 2019-06-17 15:38:43 · 9140 阅读 · 2 评论 -
ELK生态:Logstash通过sql导入地理坐标到ES,数据格式为对象
简介1.ELK生态之Logstash通过sql导入地理坐标GeoPoint数据到Elasticserch;2. 数据源:mysql数据表,数据表含地理坐标——lon(经度),lat(纬度);3. Elasticsearch和Logstash版本:5.6.1;4. GeoPoint地理位置信息可以使用三种数据格式表示:(1) 以半角逗号分割的字符串形式表示——"lat,lon...原创 2019-06-17 20:32:25 · 1750 阅读 · 0 评论 -
ELK生态:Logstash通过sql导入地理坐标到ES,数据格式为数组
简介1.ELK生态之Logstash通过sql导入地理坐标GeoPoint数据到Elasticserch;2. 数据源:mysql数据表,数据表含地理坐标——lon(经度),lat(纬度);3. Elasticsearch和Logstash版本:5.6.1;4. GeoPoint地理位置信息可以使用三种数据格式表示:(1) 以半角逗号分割的字符串形式表示——"lat,lon...原创 2019-06-18 10:15:21 · 1025 阅读 · 0 评论 -
ELK生态:Logstash通过sql导入地理坐标到ES,数据格式为字符串
简介1.ELK生态之Logstash通过sql导入地理坐标GeoPoint数据到Elasticserch;2. 数据源:mysql数据表,数据表含地理坐标——lon(经度),lat(纬度);3. Elasticsearch和Logstash版本:5.6.1;4. GeoPoint地理位置信息可以使用三种数据格式表示:(1) 以半角逗号分割的字符串形式表示——"lat,lon...原创 2019-06-18 11:10:32 · 929 阅读 · 0 评论 -
[译]如何防止elasticsearch的脑裂问题
本文翻译自blog.trifork.com的博文地址是http://blog.trifork.com/2013/10/24/how-to-avoid-the-split-brain-problem-in-elasticsearch/ ,可以复制后在浏览器观看。我们都遇到过这个 - 在我们开始准备一个elasticsearch集群的时候,第一个问题就是“集群需要有多少节点?”。我想大家都...转载 2019-07-02 10:16:41 · 532 阅读 · 0 评论 -
elasticsearch系列:ES 集群管理(集群规划、集群搭建、集群管理)
一、集群规划搭建一个集群我们需要考虑如下几个问题:1. 我们需要多大规模的集群?2. 集群中的节点角色如何分配?3. 如何避免脑裂问题?4. 索引应该设置多少个分片?5. 分片应该设置几个副本?下面我们就来分析和回答这几个问题1、我们需要多大规模的集群?需要从以下两个方面考虑:1.1 当前的数据量有多大?数据增长情况如何? 1.2 你的机器配置如何?...转载 2019-06-28 19:46:45 · 1195 阅读 · 1 评论 -
ELK生态:linux系统安装和配置logstash数据导入工具
简介上一篇博客讲到了elasticsearch搜索引擎的管理工具kibana的安装和配置,那么本篇博客将会具体介绍数据导入工具logstash的安装和配置;Logstash是一款强大的数据处理工具,它可以实现多样化的数据源数据全量或增量传输,数据标准格式处理,数据格式化输出等的功能,常用于日志处理。工作流程分为三个阶段:input数据输入阶段,可接收oracle、mysql、postg...原创 2019-06-14 15:49:47 · 664 阅读 · 0 评论 -
ELK生态:linux系统安装和配置kibana管理工具
简介Kibana是一个针对Elasticsearch的开源分析及可视化平台,用来搜索、查看交互存储在Elasticsearch索引中的数据; 使用Kibana,可以通过各种图表进行高级数据分析及展示,是对elasticsearch搜索引擎进行有效管理的工具;实践上一篇博客,我们已经对elasticsearch在linux系统上安装进行了详细的说明,那么es运行起来之后,我们需要选择一种...原创 2019-06-14 15:07:09 · 441 阅读 · 0 评论 -
java操作elasticsearch使用QueryBuilders进行数据查询
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。转载 2017-10-26 15:41:19 · 13359 阅读 · 1 评论 -
java操作es的多条件组合精确查询BoolQuery
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。转载 2017-11-21 09:21:14 · 46683 阅读 · 0 评论 -
ELK数据抽取工具logstash报错:Your application used more memory than the safety cap of 1G
问题来源 logstash在数据量少的情况下,是正常抽取数据的,但当多台服务器一起启动logstash去抽取大量数据的时候,logstash就会出现Your application used more memory than the safety cap of 1G的问题,进而抽取程序就停掉了;问题说明 从报错的提示来看,很明显就是内存溢出的问题(logstash的默认服务分配原创 2018-01-05 00:01:51 · 2037 阅读 · 0 评论 -
ELK系统之logstash问题:retrying failed action with response code: 429
logstash在进行单机导入数据的时候,效果一直都是不错的,但是,当使用es集群之后,多台集群服务器一起运行logstash导入程序,一开始还是没问题的,但是运行了一段时间之后,就可能会产生以下的问题:[ERROR][logstash.outputs.elasticsearch]Retrying individual actions[INFO][logstash.outputs.e原创 2017-12-28 20:29:22 · 24344 阅读 · 6 评论 -
logstash-input-jdbc实现mysql 与elasticsearch实时同步深入详解
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。转载 2017-11-05 11:41:43 · 671 阅读 · 0 评论 -
elasticSearch数据导入工具logstash-input-jdbc 同步原理及相关问题解读
基于logstash-input-jdbc较其他插件的稳定性、易用性、版本和ES同步更新的特点,以下研究主要针对 logstash-input-jdbc 展开。 针对logstash-input-jdbc常见的几个疑难问题,部分问题也在git和stackoverflow进行了激烈讨论,以下统一给出验证和解答。转载 2017-10-24 15:44:36 · 761 阅读 · 0 评论 -
linux安装elasticsearch部署配置详细说明
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速的效果。 ElasticSearch作为一个主流的搜索引擎,其完整的使用流...原创 2017-12-12 22:55:28 · 4715 阅读 · 2 评论 -
Elasticsearch之如何合理分配索引分片
大多数ElasticSearch用户在创建索引时通用会问的一个重要问题是:我需要创建多少个分片?在本文中, 我将介绍在分片分配时的一些权衡以及不同设置带来的性能影响. 如果想搞清晰你的分片策略以及如何优化,请继续往下阅读.为什么要考虑分片数分片分配是个很重要的概念, 很多用户对如何分片都有所疑惑, 当然是为了让分配更合理. 在生产环境中, 随着数据集的增长, 不合理的分配策略可能会给系统的扩展带来...转载 2018-03-16 18:33:23 · 24544 阅读 · 1 评论 -
elasticsearch的java代码操作详解
Java操作es集群步骤1:配置集群对象信息;2:创建客户端;3:查看集群信息1:集群名称 默认集群名为elasticsearch,如果集群名称和指定的不一致则在使用节点资源时会报错。2:嗅探功能 通过client.transport.sniff启动嗅探功能,这样只需要指定集群中的某一个节点(不一定是主节点),然后会加载集群中的其他节点,这样只要程序不停即使此节点宕机仍然可以...转载 2018-03-16 19:08:54 · 2681 阅读 · 0 评论 -
ELK可视化管理工具之:kibana常用操作命令
简介ELK是三个开源软件的缩写,分别表示:Elasticsearch、Logstash和Kibana,这里主要讲述kibana的基本操作命令;实践1.9200访问索引库2.9100访问非官方管理工具3.5601访问kibana管理工具//删除库DELETE testindex//新建库PUT testindex//新建表PUT testindex/testt...原创 2019-05-27 10:17:31 · 2392 阅读 · 0 评论 -
java操作ElasticSearch(es)进行增删查改操作
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。转载 2017-10-27 18:14:31 · 33098 阅读 · 6 评论