elasticsearch
文章平均质量分 61
gongpulin
这个作者很懒,什么都没留下…
展开
-
elasticsearch安装问题总结
1、启动异常:ERROR: bootstrap checks failed system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk问题原因:因为Centos6不支持SecC原创 2017-11-18 14:40:17 · 3773 阅读 · 1 评论 -
elasticsearch-持久化存储
如果没有用 fsync 把数据从文件系统缓存刷(flush)到硬盘,我们不能保证数据在断电甚至是程序正常退出之后依然存在。为了保证 Elasticsearch 的可靠性,需要确保数据变化被持久化到磁盘。在 动态更新索引,我们说一次完整的提交会将段刷到磁盘,并写入一个包含所有段列表的提交点。Elasticsearch 在启动或重新打开一个索引的过程中使用这个提交点来判断哪些段隶属于当转载 2017-12-10 18:33:05 · 13220 阅读 · 0 评论 -
elasticSearch 5.0.0 安装部署常见错误或问题
elasticSearch 5.0.0 安装部署常见错误或问题问题一:[2016-11-06T16:27:21,712][WARN ][o.e.b.JNANatives ] unable to install syscall filter:Java.lang.UnsupportedOperationException: seccomp转载 2017-10-18 20:25:19 · 267 阅读 · 0 评论 -
elasticsearch-doc_value和fieldata
http://blog.csdn.net/thomas0yang/article/details/64905926DocValues什么是DocValues简单说明DocValues就是一个种列式的数据存储结构(docid、termvalues)。 倒排索引的优势在于查找包含某个项的文档,即通过Term查找对应的docid。term的倒排转载 2017-11-23 13:23:12 · 1242 阅读 · 0 评论 -
elasticsearch源码分析之集群管理
http://blog.csdn.net/thomas0yang/article/details/52186772一、背景Elasticsearch是一个实时分布式搜索和分析引擎。它让你以前所未有的速度处理大数据成为可能。本文主要介绍实现分布式搜索和分析的基础–存储,好的存储设计在根本上决定了查询的性能。es的存储本质上是采用了lucene全文索引,在其基础上实现了分布转载 2017-11-23 20:20:58 · 463 阅读 · 0 评论 -
elasticsearch-mapping字段重要属性
1、index定义字段的分析类型以及检索方式,控制字段值是否被索引.他可以设置成 true 或者 false。没有被索引的字段将无法搜索 如果是no,则无法通过检索查询到该字段; 如果设置为not_analyzed则会将整个字段存储为关键词,常用于汉字短语、邮箱等复杂的字符串; 如果设置为analyzed则将会通过默认的standard分析器进行分析2、e原创 2017-12-03 23:31:55 · 12854 阅读 · 0 评论 -
Elasticsearch里面聚合group结果不正确
我们都知道Elasticsearch是一个分布式的搜索引擎,每个索引都可以有多个分片,用来将一份大索引的数据切分成多个小的物理索引,解决单个索引数据量过大导致的性能问题,另外每个shard还可以配置多个副本,来保证高可靠以及更好的抗并发的能力。将一个索引切分成多个shard,大多数时候是没有问题的,但是在es里面如果索引被切分成多个shard,在使用group进行聚合时,可能会出现问题,这转载 2017-11-24 15:11:11 · 5644 阅读 · 0 评论 -
Elasticsearch 5.x 版本中的冷热节点架构
原文链接Elasticsearch 5.x 版本中的冷热节点架构当Elasticsearch用于大量实时数据分析的场景时,我们推荐使用基于时间的索引然后使用三种不同类型的节点(Master, Hot-Node 和 Warm-Node)进行结构分层,这就是所谓的"Hot-Warm"架构。每种节点有自己的任务,下面会进行介绍。Master 节点我们推荐每个集群运转载 2017-11-24 15:24:44 · 4165 阅读 · 0 评论 -
执行分布式检索过程
查询阶段编辑在初始 查询阶段 时, 查询会广播到索引中每一个分片拷贝(主分片或者副本分片)。 每个分片在本地执行搜索并构建一个匹配文档的 _优先队列_。优先队列一个 优先队列 仅仅是一个存有 top-n 匹配文档的有序列表。优先队列的大小取决于分页参数 from 和 size 。例如,如下搜索请求将需要足够大的优先队列来放入100条文转载 2017-12-16 14:18:50 · 1122 阅读 · 0 评论 -
干货 | Elasticsearch5.X Mapping万能模板
0、引言在关系型数据库如Mysql中,设计库表需要注意的是: 1)需要几个表; 2)每个表有哪些字段; 3)表的主键及外键的设定——便于有效关联。 表的设计遵守范式约束,考虑表的可扩展性,避免开发后期对表做大的改动。 Mysql或者Oracle中,修改数据类型相对比较简单,通过命令行或者navicat、sqldeveloper等可视化工具直接修改。 即便千万级别数据转载 2017-12-07 20:19:45 · 254 阅读 · 0 评论 -
Elasticsearch 5.4 Mapping详解
http://blog.csdn.net/napoay/article/details/73100110前言一Field datatype字段数据类型1string类型2 text类型3 keyword类型4 数字类型5 Object类型6 date类型7 Array类型8 binary类型9 ip类型10 range类型11 nested类型12token_count类型13 geo转载 2018-01-24 21:07:39 · 299 阅读 · 0 评论 -
elasticsearch索引过程
下一个需要被解决的问题是怎样在保留不变性的前提下实现倒排索引的更新? 答案是: 用更多的索引。通过增加新的补充索引来反映新近的修改,而不是直接重写整个倒排索引。每一个倒排索引都会被轮流查询到--从最早的开始--查询完后再对结果进行合并。Elasticsearch 基于 Lucene, 这个 java 库引入了 按段搜索 的概念。 每一 段 本身都是一个倒排索引, 但 索引转载 2017-12-10 18:15:51 · 1027 阅读 · 0 评论 -
elasticsearch-索引性能优化技巧
索引性能技巧编辑如果你是在一个索引负载很重的环境, 比如索引的是基础设施日志,你可能愿意牺牲一些搜索性能换取更快的索引速率。在这些场景里,搜索常常是很少见的操作,而且一般是由你公司内部的人发起的。他们也愿意为一个搜索等上几秒钟,而不像普通消费者,要求一个搜索必须毫秒级返回。基于这种特殊的场景,我们可以有几种权衡办法来提高你的索引性能。1、如果你的搜索结果不需要近原创 2017-12-10 17:51:47 · 6877 阅读 · 1 评论 -
elasticsearch学习资源合集
elasticsearch学习资源合集 1、Elasticsearch 5.4 中文文档 http://cwiki.apachecn.org/pages/viewpage.action?pageId=4260364 各种概念、定义非常详细,可作为查阅资料 2、Elasticsearch: 权威指南 https://www原创 2017-11-18 14:59:25 · 743 阅读 · 0 评论 -
elasticsearch安装
环境准备: 1、安装JDK8,elasticsearch5以后的版本要求jdk版本为jdk8及以上 2、elasticsearch-5.4.0.tar.gz 、 elasticsearch-analysis-ik-5.4.0.zip elasticsearch-analysis-ik下载地址: https://github.原创 2017-11-18 14:21:36 · 274 阅读 · 0 评论 -
elasticsearch学习笔记-倒排索引
一,倒排索引(Inverted Index)ElasticSearch引擎把文档数据写入到倒排索引(Inverted Index)的数据结构中,倒排索引建立的是分词(Term)和文档(Document)之间的映射关系,在倒排索引中,数据是面向词(Term)而不是面向文档的。举个例子,文档和词条之间的关系如下图:字段值被分析之后,存储在倒排索引中,倒排索引存储的是分词转载 2017-11-18 16:00:37 · 15019 阅读 · 0 评论 -
elasticsearch重要概念理解
Elasticsearch 是一个分布式、可扩展、实时的搜索与数据分析引擎.Elasticsearch 不仅仅只是全文搜索,我们还将介绍结构化搜索、数据分析、复杂的语言处理、地理位置和对象间关联关系等。Elasticsearch 是一个开源的搜索引擎,建立在一个全文搜索引擎库Apache Lucene基础之上。 Lucene 可以说是当下最先进、高性能、全功能的搜索引擎库--无论是开源原创 2017-11-18 17:46:36 · 401 阅读 · 0 评论 -
elasticsearch-mapping字段类型
1、text 该字段用于索引全文文本,例如电子邮件的正文或产品的描述。 对这些字段进行analyzed ,即通过分析器将其转换成索引之前的各个术语列表。 分析过程允许Elasticsearch搜索每个全文本字段中的单个单词。 文本字段不用于排序,很少用于聚合(尽管重要的术语聚合是一个显着的例外)。如果您需要索引结构化内容(如电子邮件地址,主机名,状态代码或标签),则可能您应该使原创 2017-11-18 18:30:41 · 7895 阅读 · 0 评论 -
elasticsearc-内部过滤器执行流程
内部过滤器的操作编辑在内部,Elasticsearch 会在运行非评分查询的时执行多个操作:查找匹配文档.term 查询在倒排索引中查找 XHDK-A-1293-#fJ3 然后获取包含该 term 的所有文档。本例中,只有文档 1 满足我们要求。创建 bitset.过滤器会创建一个 bitset (一个包含 0 和 1 的数组),它描述了哪个原创 2017-11-20 19:48:49 · 502 阅读 · 0 评论 -
elasticsearch-全文检索执行流程
elasticsearch-全文检索执行流程检查字段类型 。标题 title 字段是一个 string 类型( analyzed )已分析的全文字段,这意味着查询字符串本身也应该被分析。分析查询字符串 。将查询的字符串 QUICK! 传入标准分析器中,输出的结果是单个项 quick 。因为只有一个单词项,所以 match 查询执行的是单个底层 term 查询。原创 2017-11-20 20:41:58 · 2396 阅读 · 0 评论 -
ES常规基础优化措施
(1)选择正确的存储 如:选择默认的default存储类型。(2)按需设定刷新频率 索引刷新频率定义:文档需要多长时间才能出现在搜索结果中。 正确认知: 1)刷新频率越短,查询越慢,且索引文档的吞吐率越低。 2)默认刷新频率:1s刷新一次。 3)无限的增加刷新时间是没有意义的,因为超过一定的值(取决于你的数据负载和数据量)之后,性能提升变得微乎其微。(3)线转载 2017-12-10 12:23:40 · 4523 阅读 · 0 评论 -
ElasticSearch里面复杂关系数据的存储方式
在传统的数据库里面,对数据关系描述无外乎三种,一对一,一对多和多对多的关系,如果有关联关系的数据,通常我们在建表的时候会添加主外键来建立数据联系,然后在查询或者统计时候通过join来还原或者补全数据,最终得到我们需要的结果数据,那么转化到ElasticSearch里面,如何或者怎样来处理这些带有关系的数据。我们都知道ElasticSearch是一个NoSQL类型的数据库,本身是弱化了对关系转载 2017-12-10 15:58:26 · 4135 阅读 · 0 评论 -
elasticsearch近实时搜索refresh
近实时搜索编辑随着按段(per-segment)搜索的发展, 一个新的文档从索引到可被搜索的延迟显著降低了。新文档在几分钟之内即可被检索,但这样还是不够快。磁盘在这里成为了瓶颈。 提交(Commiting)一个新的段到磁盘需要一个 fsync 来确保段被物理性地写入磁盘,这样在断电的时候就不会丢失数据。 但是 fsync 操作代价很大; 如果每次索引一个文档都去转载 2017-12-10 17:25:03 · 2200 阅读 · 0 评论 -
Elasticsearch 5.4 Indices(索引) API
http://blog.csdn.net/napoay/article/details/73251965前言一索引管理1 创建索引2 删除索引3 查看索引信息4 索引是否存在5 关闭打开索引6 索引收缩7 翻滚索引二mapping管理1 设置mapping2 查看mapping3 获取字段mapping4 类型是否存在三别名管理1 索引别名设置四索引配置转载 2018-01-24 21:10:14 · 511 阅读 · 0 评论