Elasticsearch
文章平均质量分 95
YYDU_666
这个作者很懒,什么都没留下…
展开
-
Linux下安装Elasticsearch5.X
下载Elasticsearch 登录官网 https://www.elastic.co/cn/downloads 选择下载elasticsearch,根据需要选择对应的安装包,这里选择5.0版本,下载完后得到 elasticsearch-5.0.0.tar.gz解压安装 将 elasticsearch-5.0.0.tar.gz 拷贝到 /opt 目录下。 在Linux中...原创 2018-08-10 14:11:27 · 422 阅读 · 0 评论 -
关于ES性能调优几件必须知道的事
零)ElasticSearch架构概述ElasticSearch是现在技术前沿的大数据引擎,常见的组合有ES+Logstash+Kibana作为一套成熟的日志系统,其中Logstash是ETL工具,Kibana是数据分析展示平台。ES让人惊艳的是他强大的搜索相关能力和灾备策略,ES开放了一些接口供开发者研发自己的插件,ES结合中文分词的插件会给ES的搜索和分析起到很大的推动作用。Elas...转载 2019-03-15 17:42:42 · 4106 阅读 · 0 评论 -
ElasticSearch怎样设置 master、data 和 client 节点
在生产环境下,如果不修改elasticsearch节点的角色信息,在高数据量,高并发的场景下集群容易出现脑裂等问题。 默认情况下,elasticsearch 集群中每个节点都有成为主节点的资格,也都存储数据,还可以提供查询服务。这些功能是由两个属性控制的。 1. node.master 2. node.data 默认情况下这两个属性的值都是true。 node.m...原创 2019-01-05 23:57:42 · 10142 阅读 · 2 评论 -
ElasticSearch增删该查Linux下命令大全
我们通常用用_cat API检测集群是否健康。 确保9200端口号可用: curl 'localhost:9200/_cat/health?v' 绿色表示一切正常, 黄色表示所有的数据可用但是部分副本还没有分配,红色表示部分数据因为某些原因不可用. 2.通过如下语句,我们可以获取集群的节点列表: curl 'localhost:9200/_cat/nodes?v...原创 2018-12-26 20:11:48 · 1946 阅读 · 0 评论 -
Elasticsearch —— bulk批量导入数据
在使用Elasticsearch的时候,一定会遇到这种场景——希望批量的导入数据,而不是一条一条的手动导入。那么此时,就一定会需要bulk命令!更多内容参考我整理的Elk教程bulk批量导入批量导入可以合并多个操作,比如index,delete,update,create等等。也可以帮助从一个索引导入到另一个索引。语法大致如下;action_and_meta_data\n...转载 2018-12-03 17:13:22 · 987 阅读 · 0 评论 -
ElasticSearch分页查询详解-----------深度分页(from-size)和快照分页(scroll)
Elasticsearch中数据都存储在分片中,当执行搜索时每个分片独立搜索后,数据再经过整合返回。那么,如何实现分页查询呢? 按照一般的查询流程来说,如果我想查询前10条数据: 1)客户端请求发给某个节点 2)节点转发给个个分片,查询每个分片上的前10条 3)结果返回给节点,整合数据,提取前10条 4...原创 2018-09-20 20:11:00 · 3341 阅读 · 0 评论 -
ElasticSearch底层原理浅析
基本概念索引(Index)ES将数据存储于一个或多个索引中,索引是具有类似特性的文档的集合。类比传统的关系型数据库领域来说,索引相当于SQL中的一个数据库,或者一个数据存储方案(schema)。索引由其名称(必须为全小写字符)进行标识,并通过引用此名称完成文档的创建、搜索、更新及删除操作。一个ES集群中可以按需创建任意数目的索引。类型(Type)类型是索引内部的逻辑分区(categ...原创 2018-09-20 10:55:42 · 5172 阅读 · 0 评论 -
Elasticsearch工作原理
一、关于搜索引擎各位知道,搜索程序一般由索引链及搜索组件组成。索引链功能的实现需要按照几个独立的步骤依次完成:检索原始内容、根据原始内容来创建对应的文档、对创建的文档进行索引。搜索组件用于接收用户的查询请求并返回相应结果,一般由用户接口、构建可编程查询语句的方法、查询语句执行引擎及结果展示组件组成。著名的开源程序Lucene是为索引组件,它提供了搜索程序的核心索引和搜索模块,例...原创 2018-09-18 18:07:37 · 264 阅读 · 0 评论 -
Elasticsearch使用REST API实现全文检索
Elasticsearch使用REST API实现全文检索Elasticsearch REST APIelasticsearch支持通过http请求响应服务,http请求默认使用9200断开,因此通过curl命令,可以发送http请求,并得到json返回内容。常用的REST API包括一下几个:检查ES集群状态curl http://localhost:9200/_cat/hea...转载 2018-09-12 15:59:19 · 378 阅读 · 0 评论 -
logstash-input-jdbc 同步原理及定时器
定时器: 多久执行一次SQL,默认是一分钟 # schedule => 分 时 天 月 年 # schedule => * 22 * * * 表示每天22点执行一次 schedule => "前言:基于logstash-input-jdbc较其他插件的稳定性、易用性、版本和ES同步更新的特点,以下研究主要针对 logstash-input-...原创 2018-08-29 17:00:12 · 5182 阅读 · 1 评论 -
elasticsearch5.x集群HA原理(shards、replicas)
最近在搭建es5.2的高可用集群,在这个过程中加深了对es的原理理解,基本分为四个阶段es单机—>es集群(多台机器)—>es分片和副本集分布原理—>es高可用集群1.es单机在第一个阶段基本概念的掌握还是比较熟练的,对应着关系型数据库(mysql)来理解es:文档(document)文档(document)是ElasticSearch中的存储形式。对所有...转载 2019-03-12 18:35:46 · 932 阅读 · 0 评论