Elasticsearch
文章平均质量分 74
Eric-L90
New year,New life
展开
-
使用elasticsearch遇到的一些问题以及解决方法
转载自:http://itindex.net/detail/51176-elasticsearch-%E9%97%AE%E9%A2%98-%E6%96%B9%E6%B3%951.由gc引起节点脱离集群 因为gc时会使jvm停止工作,如果某个节点gc时间过长,master ping3次(zen discovery默认ping失败重试3次)不通后就会把该节点剔除出集群,从而导致索引进行转载 2015-05-05 11:29:49 · 3790 阅读 · 0 评论 -
elasticsearch中的upsert
elasticsearch的更新功能是非常强大的,一直知道在update中有一个upsert功能,因为一直用不到也就没有去仔细看一下,最近,因为有业务可能要用到该功能,这里简单的说一下:通过curl去更新数据如下:curl -XPOST 'localhost:9200/test/type1/1/_update' -d '{ "doc" : { "name" :原创 2016-02-16 17:06:46 · 17949 阅读 · 0 评论 -
Solr5创建Collection的多core。
虽然一直在用Solr,但是一直没有对他进行比较深入的了解,最近正好有时间,研究了一下,主要是一直想对solr的collection进行分表,那样的话一天的数据一个表,比较规范,也比较好用。网上搜了一下,基本上都是通过多core来实现的。这里说一下创建的url:http://127.0.0.1:8983/solr/admin/cores?action=CREATE&name=collecti转载 2016-11-03 16:10:37 · 2891 阅读 · 0 评论 -
solr的创建分片的方式。
在Solr4.4之后,Solr提供了SolrCloud分布式集群的模式,它带来的主要好处是: (1)大数据量下更高的性能 (2)更好扩展性 (3)更高的可靠性 (4)更简单易用 什么时候应该使用SolrCloud(Shard)呢? (1)更大的数据量 (2)更大的索引体积 (3)想并行索引和查询 (4)想自定义数据分区 SolrClo转载 2016-11-03 16:23:58 · 5714 阅读 · 0 评论 -
elasticsearch的snapshot备份
官方提供了snapshot方式,这种其实就是将索引文件进行了备份,所以备份和恢复过程都是比较快的。毕竟不用重新索引,这种的缺点是只能用来做es恢复。不能把备份数据用作其他用途。 过程如下:snapshot://create repositori(注意,这里如果是集群,location目录需要是nfs那种共享文件目录,所有机器都有权限访问的)curl -XPUT 'localhost:9200/原创 2017-09-25 10:40:26 · 1192 阅读 · 0 评论 -
elasticsearch数据导出/导入
官方提供了snapshot方式,是索引文件的方式,但是有时候我们需要原始数据,所以,elasticdump就诞生了,方式是从es中查询数据。比较方便,但是,如果数据量比较大,最好按照一定规则来导出,比如按天导出,这样如果出现问题比较好处理。 https://github.com/taskrabbit/elasticsearch-dump?utm_source=dbweekly&utm_medium原创 2017-09-25 10:48:06 · 23094 阅读 · 2 评论 -
Elasticsearch 1.4安装marvel
之前使用elasticsearch 1.x 版本的时候,觉得marvel是收费版,现在发现免费版也很好用: https://www.elastic.co/guide/en/marvel/marvel-1.3/_simple_install.html 各种性能参数一目了然。很好用。 elasticsearch 2.x和1.x的不一样了,如下: https://www.elastic.co/gu原创 2017-09-20 15:31:25 · 418 阅读 · 0 评论 -
elasticsearch 升级license
elasticsearch 升级license elasticsearch5的插件x-pack下载之后,kibana上的monitor等默认是一个月的免费期,到期之后需要升级license。 相应的license从该链接下载:https://www.elastic.co/subscriptions 大部分用户应该只是需要basic就可以了,我这里也是。哈哈 之后升级license: htt原创 2017-10-20 14:54:32 · 2444 阅读 · 0 评论 -
配置高性能ElasticSearch集群的9个小贴士<重要>
转载自:http://www.linuxidc.com/Linux/2017-01/139165.htm Loggly服务底层的很多核心功能都使用了ElasticSearch作为搜索引擎。就像Jon Gifford(译者注:Loggly博客作者之一)在他近期关于“ElasticSearch vs Solr”的文章中所述,日志管理在搜索技术方面产生一些粗暴的需求,坚持下来以后,它必须能够:在超大规模转载 2017-11-23 16:44:18 · 669 阅读 · 0 评论 -
elasticsearch-sql插件
elasticsearch的插件机制是很好的一点,让我们有很多好的插件可以用.比如head,bigdesk等插件,最近又发现了一个好用的插件elasticsearch-sql.就是通过sql语句去操作es集群.就是将sql语句给转成了es的查询语法.感觉非常好用.这里分享一下.项目路径:https://github.com/NLPchina/elasticsearch-sql里面说的非原创 2015-12-27 09:39:48 · 11896 阅读 · 2 评论 -
elasticsearch field data 内存控制
今天在看elasticsearch日志的时候发现有好多错误,如下:breaker.CircuitBreakingException:[FIELDDATA] Data too large,data for [_type] would be large than litmit of [250895009/2.3gb].看到这个错误,第一反应就是内存不够用了.查了下资料,确实是内存不够用了,不过原创 2016-01-07 17:58:23 · 9447 阅读 · 2 评论 -
Elasticsearch分片控制
elasticsearch可以通过reroute api来手动进行索引分片的分配。不过要想完全手动,必须先把cluster.routing.allocation.disable_allocation参数设置为true,禁止es进行自动索引分片分配,否则你从一节点把分片移到另外一个节点,那么另外一个节点的一个分片又会移到那个节点。数据量很少的时候,可能影响不大,但是如果数据量很大,这个参数必原创 2015-11-28 11:24:25 · 4383 阅读 · 0 评论 -
Elasticsearch初始化配置
elasticsearch一些配置。转载 2015-07-09 11:23:41 · 4454 阅读 · 0 评论 -
elasticsearch的集群配置更新和索引配置更新
这些东西在官网上都有。因为经常用,在这里做个笔记:cluster updating:curl -XPUT localhost:9200/_cluster/settings -d '{ "persistent" : { "discovery.zen.minimum_master_nodes" : 2 }}'curl -XPUT localhost:9原创 2015-07-09 10:57:31 · 1737 阅读 · 0 评论 -
elasticsearch bulk报错EsRejectedExcutionException[rejected execution(queue capacity 50) on.......]
最近在使用elasticsearch的时候,遇到这样一个问题,其实一看大家都知道。就是队列过长了。处理不过来导致失败了。这里从官网查了一下资料,在进行bulk操作的时候默认是50个。这样,很容易就会报这种错误。我们需要调大一些。下面是官网关于Thread Pool的介绍Thread PooleditOn this pageThread p原创 2015-06-15 16:55:30 · 7815 阅读 · 0 评论 -
elasticsearch G1垃圾回收器
转载自:http://donlianli.iteye.com/blog/1948787Java的垃圾回收真是让人又恨又爱。当今大内存已经成为服务器的趋势,使用CMS垃圾回收有点捉襟见肘。为何要使用g1垃圾回收,我想用过es的人都会很清楚。下面我就介绍一下在elasticsearch中,如何使用G1垃圾回收。首先找到es的配置文件。elasticsearch.in.sh,这个文件转载 2015-07-13 17:07:41 · 2189 阅读 · 0 评论 -
elasticsearch 断路器设置
es中断路器主要是用来保证jvm内存的使用,避免因为内存使用过大,导致出现内存溢出的现象,导致集群崩溃。通产有一下三个配置选项: fielddata所能占用的最大内存,默认是jvm的60%,这里也可以直接配置成大小 indices.breaker.fielddata.limit: 60% 估算完成查询,其他需求需要的内存大小,如计算等等,默认是40% ind原创 2015-07-14 09:26:28 · 3002 阅读 · 0 评论 -
Elasticsearch自动分片
每次重启es集群的时候都会遇到分片自动迁移的情况,其实,并不需要进行迁移。我们可以通过参数来进行配置。如果整的需要迁移就通过api手动迁移。cluster.routing.allocation.disable_allocation: trueelasticsearch可以通过reroute api来手动进行索引分片的分配。 不过要想完全手动,必须先把cluster.routing.原创 2015-08-12 14:41:03 · 2635 阅读 · 0 评论 -
Elasticsearch 报错:failed to create a selector
今天连接Elasticsearch的程序频繁报错failed to create a selector。后来百度了一下,大概就是打开socket出错。用netstat看了一下端口,果然,有很多,怀疑客户端句柄忘记释放。核实后果真是忘记释放了。修改后程序正常运行。原创 2015-08-13 19:09:59 · 3300 阅读 · 1 评论 -
Elasticsearch的field类型。
Elasticsearch中的域,可以理解为RDBMS中的字段,在创建mapping的时候需要指定类型。type 类型,可以是boolean,long,double,date,stringThe datatype that the field contains, such as string or date index 是否进行索引,原创 2015-11-11 17:17:11 · 4988 阅读 · 0 评论 -
Elasticsearch 全字段搜索_all,query_string查询,不进行分词
最近在使用ELasitcsearch的时候,需要用到关键字搜索,因为是全字段搜索,就需要使用_all字段的query_string进行搜索。但是在使用的时候,遇到问题了。我们的业务并不需要分词,我在各个字段也设置了,not_analyzed。但是在使用query_string对_all字段进行查询的时候,发现结果是分词之后,赶紧找问题。。最后在官网找到这么一段话:Remember th原创 2015-11-11 16:50:03 · 29528 阅读 · 0 评论 -
ES集群配置参考
aws现在提供ES服务,但是如果我们自己搭建集群,可以参考一下aws的设计,应该会少踩不少坑。 https://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/petabyte-scale.html master node的设计: https://docs.aws.amazon.com/elasticsearch-...转载 2018-06-04 18:56:03 · 1402 阅读 · 0 评论