ElasticSearch
terry01203
计算机从业者
展开
-
影响lucence 打分的因素
在索引阶段设置Document Boost和Field Boost,存储在(.nrm)文件中。如果希望某些文档和某些域比其他的域更重要,如果此文档和此域包含所要查询的词则应该得分较高,则可以在索引阶段设定文档的boost和域的boost值。这些值是在索引阶段就写入索引文件的,存储在标准化因子(.nrm)文件中,一旦设定,除非删除此文档,否则无法改变。如果不进行设定,则Document原创 2016-10-09 14:13:04 · 832 阅读 · 0 评论 -
Elasticsearch Recovery详解
Elasticsearch Recovery详解基础知识点在Eleasticsearch中recovery指的就是一个索引的分片分配到另外一个节点的过程;一般在快照恢复、索引副本数变更、节点故障、节点重启时发生。由于master保存整个集群的状态信息,因此可以判断出哪些shard需要做再分配,以及分配到哪个结点,例如:如果某个shard主分片在,副分片所原创 2016-10-21 10:55:37 · 8426 阅读 · 0 评论 -
Elastalert-基于Elasticsearch层面的监控告警框架
写在前边的话Elastalert是Yelp公司用python2.6写的一个报警框架,github地址为 https://github.com/Yelp/elastalert环境介绍Ubuntu16.04 Elasticsearch 2.4.1 Logstash 2.4.0 Kibana 4.6.1Elastalert的安装Elastalert的安装相对比原创 2016-11-15 11:47:33 · 4233 阅读 · 0 评论 -
elasticsearch源码简读:程序启动
启动类:1.org.elasticsearch.bootstrap.Elasticsearch2.org.elasticsearch.bootstrap.ElasticsearchF,前台运行类,es.foreground=yes,否则不打印系统日志两个类都继承Bootstrap[java] view plain copy public static原创 2016-11-23 14:05:34 · 514 阅读 · 0 评论 -
控制Elasticsearch分片和副本的分配
控制Elasticsearch分片和副本的分配 ES集群中索引可能由多个分片构成,并且每个分片可以拥有多个副本。通过将一个单独的索引分为多个分片,我们可以处理不能在一个单一的服务器上面运行的大型索引,简单的说就是索引的大小过大,导致效率问题。不能运行的原因可能是内存也可能是存储。由于每个分片可以有多个副本,通过将副本分配到多个服务器,可以提高查询的负载能力。原创 2016-10-21 10:26:27 · 7321 阅读 · 0 评论 -
Hermes与开源的Solr、ElasticSearch的不同
2014-12-18分类:技术文章 Hermes与开源的Solr、ElasticSearch的不同 谈到Hermes的索引技术,相信很多同学都会想到Solr、ElasticSearch。Solr、ElasticSearch在真可谓是大名鼎鼎,是两个顶级项目,最近有些同学经常问我,“开源世界有Solr、ElasticSearch为什么还要使用H原创 2016-10-08 19:32:58 · 442 阅读 · 0 评论 -
使用elasticsearch遇到的一些问题以及解决方法(不断更新)
1.由gc引起节点脱离集群 因为gc时会使jvm停止工作,如果某个节点gc时间过长,master ping3次(zen discovery默认ping失败重试3次)不通后就会把该节点剔除出集群,从而导致索引进行重新分配。解决方法:(1)优化gc,减少gc时间。(2)调大zen discovery的重试次数(es参数:ping_retries)和超时时间(es参数:ping_timeou原创 2016-09-29 19:41:08 · 43832 阅读 · 0 评论 -
Elasticsearch源码分析之一——使用Guice进行依赖注入与模块化系统
elasticsearch使用google开源的依赖注入框架guice,这个项目号称比spring快100倍,具体性能没有测试过,不过由于其代码比较简洁,比spring快很有可能,是不是快那么多就不知道了。先介绍下guice的基本使用方法。elasticsearch是直接把guice的源码放到自己的包内(es把很多开源项目的代码都直接集成到自己项目中,省得依赖一堆的jar包,也使es的ja原创 2016-11-26 13:21:34 · 336 阅读 · 0 评论 -
Elasticsearch 的配置
elasticsearch的config文件夹里面有两个配置文 件:elasticsearch.yml和logging.yml,第一个是es的基本配置文件,第二个是日志配置文件,es也是使用log4j来记录日 志的,所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的东西。cluster.name: elast原创 2016-11-26 13:38:46 · 325 阅读 · 0 评论 -
实战 Lucene,第 1 部分: 初识 Lucene
本文首先介绍了 Lucene 的一些基本概念,然后开发了一个应用程序演示了利用 Lucene 建立索引并在该索引上进行搜索的过程。18评论朋 周登 ([email protected]), 软件工程师2006 年 4 月 20 日内容在 IBM Bluemix 云平台上开发并部署您的下一个应用。开始您的试用转载 2016-10-08 17:09:42 · 236 阅读 · 0 评论 -
nginx+Elasticsearch集群反向代理负载均衡
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是第二最流行的企业搜索引擎。Elasticsearch是一种先进的,高性能的,可扩展的开源搜索引擎,提供全文搜索和实时分析的结构化和非结构化的数据。原创 2016-11-09 15:45:01 · 6496 阅读 · 0 评论 -
SQL中Group By的使用
1、概述2、原始表3、简单Group By4、Group By 和 Order By5、Group By中Select指定的字段限制6、Group By All7、Group By与聚合函数8、Having与Where的区别9、Compute 和 Compute By1、概述“Group By”从字面意义上理解就是根据“By”指定的规则对数据进行分组,所谓的分组就是将一个“数据集”划分原创 2016-09-28 21:09:49 · 311 阅读 · 0 评论 -
elasticsearch之mapping配置
序本文主要记录es的schema mapping的一些配置项mapping定义{ "mappings": { "post": { "properties": { "id": {"type":"long", "store":"yes", "precision_step":"8" }, "name":转载 2016-09-20 22:09:34 · 13936 阅读 · 2 评论 -
LINUX ulimit命令
linux下默认是不产生core文件的,要用ulimit -c unlimited放开概述系统性能一直是一个受关注的话题,如何通过最简单的设置来实现最有效的性能调优,如何在有限资源的条件下保证程序的运作,ulimit 是我们在处理这些问题时,经常使用的一种简单手段。ulimit 是一种 linux 系统的内键功能,它具有一套参数集,用于为由它生成的 shell 进程及其子进程的资源使用原创 2016-10-21 14:40:26 · 561 阅读 · 0 评论 -
关于elasticsearch和kibana的时区和日期问题
elasticsearch原生支持date类型,json格式通过字符来表示date类型。所以在用json提交日期至elasticsearch的时候,es会隐式转换,把es认为是date类型的字符串直接转为date类型。至于什么样的字符串es会认为可以转换成date类型,参考elasticsearch官网介绍https://www.elastic.co/guide/en/elasticsearch/原创 2016-09-22 11:30:57 · 8865 阅读 · 1 评论 -
scripts of type [inline], operation [update] and lang [groovy] are disabled
Elasticsearch的更新文档API准许通过脚本操作来更新文档。更新操作从索引中获取文档,执行脚本,然后获得返回结果。它使用版本号来控制文档获取或者重建索引。 备注:在Elasticsearch中的更新操作是完全从新索引文件。 我们新建一个文档:请求:PUT http://localhost:9200/test/type1/1?pretty参数:{ "c原创 2016-09-27 17:15:29 · 1250 阅读 · 0 评论 -
elk迁移之kibana的配置导出export及迁移
除了基本的项目外,elk也要做相关的迁移…. logstash好说,client只需要在代码逻辑改下redis地址就可以了,logstash server直接docker pull镜像就可以了。 elasticsearch需要我们自己写脚本迁移,因为跨机房导入导出,挺费工夫的,关于elasticsearch的迁移,我下篇再写,今天主要写kibana的迁移。 kibana配置的迁移,他原创 2016-11-03 19:51:27 · 8213 阅读 · 3 评论 -
es中的scan and scroll搜索
在es上搜索数据时,默认es只会返回10条文档,当我们想获取更多结果,或者只要结果中的一个区间的数据时,可以通过szie和from来指定。[plain] view plain copy GET /_search?size=3&from=20 如上的查询语句,会返回排序后的结果中第20到第22条数据。es在收到这样的一个请求之后,每一个分片都会返回一个top原创 2016-09-28 16:39:30 · 3201 阅读 · 0 评论 -
Elasticsearch——分页查询From&Size VS scroll
Elasticsearch中数据都存储在分片中,当执行搜索时每个分片独立搜索后,数据再经过整合返回。那么,如果要实现分页查询该怎么办呢?更多内容参考Elasticsearch资料汇总按照一般的查询流程来说,如果我想查询前10条数据:1 客户端请求发给某个节点2 节点转发给个个分片,查询每个分片上的前10条3 结果返回给节点,整合数据,提取前10条4 返回给请求客户端那么当我原创 2016-09-28 16:54:10 · 1421 阅读 · 0 评论 -
Elasticsearch Scroll (游标)API详解
分类:全文索引 (423) (0)举报 收藏 http://www.16php.com/archives/380今天我们来探讨一下Elasticsearch Scroll API,在这之前我们先回顾一下数据库的知识。1. 相关数据库知识(帮助理解)传统数据库游标:游标(cursor)是系统为用户开设的一个数据缓冲区,存放SQL语句的执行结果。原创 2016-09-28 18:04:45 · 21267 阅读 · 2 评论 -
Elasticsearch源码分析之一——使用Guice进行依赖注入与模块化系统
elasticsearch使用google开源的依赖注入框架guice,这个项目号称比spring快100倍,具体性能没有测试过,不过由于其代码比较简洁,比spring快很有可能,是不是快那么多就不知道了。先介绍下guice的基本使用方法。elasticsearch是直接把guice的源码放到自己的包内(es把很多开源项目的代码都直接集成到自己项目中,省得依赖一堆的jar包,也使es的jar包原创 2016-11-26 17:54:38 · 411 阅读 · 0 评论