linux句柄数不足的java报错_Elasticsearch使用过程中的一些问题和解决方法

Elasticsearch是一个开源的分布式实时搜索与分析引擎，支持云服务。它是基于Apache Lucene搜索引擎的类库创建的，提供了全文搜索能力、多语言支持、专门的查询语言、支持地理位置服务、基于上下文的搜索建议、自动完成以及搜索片段(snippet)的能力。Elasticsearch支持RESTful的API，可以使用JSON通过HTTP调用它的各种功能，包括搜索、分析与监控。此外，它还为Java、PHP、Perl、Python以及Ruby等各种语言提供了原生的客户端类库。下面是收集总结了一下使用elasticsearch所遇到的各类问题以及相关的解决方案。

1、由gc引起节点脱离集群

现象：因为当ES节点发生gc(特别是old gc)时会使jvm停止工作，如果某个节点gc时间过长，master ping 3次(zen discovery ping失败重试3次

[默认])不通后就会把该节点剔除出集群，从而导致索引进行重新分配。解决避免方法：1、优化gc设置，尽量减少gc时间。2、调大zen discovery的重试次数(es参数：ping_retries)和超时时间(es参数：ping_timeout)。3、注意硬盘的监控避免因为节点空间不足造成性能下降和出现脱离节点的问题。

2、out of memory错误

现象：因为默认情况下ES对字段数据缓存(Field Data Cache)大小是无限制的，查询时会把字段值放到内存，特别是facet查询，对内存要求非常高，它会把结果都放在内存，然后进行排序等操作，一直使用内存，直到内存用完，当内存不够用时就有可能出现out of memory错误。

解决避免方法：1、设置es的缓存类型为Soft Reference,它的主要特点是据有较强的引用功能。只有当内存不够的时候,才进行回收这类内存,因此在内存足够的时候,它们通常不被回收。另外，这些引用对象还能保证在Java抛出OutOfMemory异常之前，被设置为null。它可以用于实现一些常用图片的缓存，实现Cache的功能，保证最大限度的使用内存而不引起OutOfMemory。在es的配置文件加上index.cache.field.type: soft即可。2、设置es最大缓存数据条数和缓存失效时间，通过设置index.cache.field.max_size: 50000 来把缓存field的最大值设置为50000，设置index.cache.field.expire: 10m 把过期时间设置成10分钟。3、无法创建本地线程问题

ES恢复时报错，如下：RecoverFilesRecoveryException[[index][3] Failed to transfer [215] files with total size of [9.4gb]]; nested: OutOfMemoryError[unable to create new native thread]; ]]

解决避免方法：

刚开始以为是文件句柄数限制，但想到之前报的是too many open file这个错误，并且也把数据改大了。查资料得知一个进程的jvm进程的最大线程数为：虚拟内存 /(堆栈大小10241024)，也就是说虚拟内存越大或堆栈越小，能创建的线程越多。

重新设置后还是会报这个错，按理说可创建线程数完全够用了的，就想是不是系统的一些限制。后来在网上找到说是max user processes的问题，这个值默认是1024，这个参数单看名字是用户最大打开的进程数，但看官方说明，就是用户最多可创建线程数，因为一个进程最少有一个线程，所以间接影响到最大进程数。调大这个参数后就没有报这个错了。1、增大jvm的heap内存或降低xss堆栈大小(默认的是512K)。2、打开/etc/security/limits.conf 把soft nproc 1024这行的1024增大。4、集群状态为黄色时并发插入数据报错[7]: index [index], type [index], id [1569133], message [UnavailableShardsException[[index][1] [4] shardIt, [2] active : Timeout waiting for [1m], request: org.elasticsearch.action.bulk.BulkShardRequest@5989fa07]]这是错误信息，当时集群状态为黄色，即副本没有分配。当时副本设置为2，只有一个节点，当你设置的副本大于可分配的机器时，此时如果你插入数据就有可能报上面的错，因为es的写一致性默认是使用quorum，即quorum值必须大于(副本数/2+1)，我这里2/2+1=2也就是说要要至少插入到两份索引中，由于只有一个节点，quorum等于1，所以只插入到主索引，副本找不到从而报上面那个错。

解决避免方法：1、去掉没分配的副本2、把写一致性改成one，即只写入一份索引就行。5、设置jvm锁住内存时启动警告

当设置bootstrap.mlockall: true时，启动es报警告Unknown mlockall error 0，因为linux系统默认能让进程锁住的内存为45k。

解决方法：

设置为无限制，linux命令：ulimit -l unlimited6、错误使用api导致集群卡死

其实这个是很低级的错误。功能就是更新一些数据，可能会对一些数据进行删除，但删除时同事使用了deleteByQuery这个接口，通过构造BoolQuery把要删除数据的id传进去，查出这些数据删除。但问题是BoolQuery最多只支持1024个条件，100个条件都已经很多了，所以这样的查询一下子就把es集群卡死了。

解决方法：

用bulkRequest进行批量删除操作。

7、org.elasticsearch.transport.RemoteTransportException: Failed to deserialize exception response from stream

原因:

es节点之间的JDK版本不一样

解决方法：统一JDK环境

8、org.elasticsearch.client.transport.NoNodeAvailableException: No node available

1) 端口错client = new TransportClient().addTransportAddress(new InetSocketTransportAddress(ipAddress, 9300));这里9300 写成9200的话会No node available

要是你连的不是本机，注意IP有没有正确

2 )jar报引用版本不匹配，开启的服务是什么版本，引用的jar最好匹配(这个我没有去试，反正我的是匹配的)

3) 要是你改了集群名字，还有设置集群名字Settings settings = ImmutableSettings.settingsBuilder().put("cluster.name", "xxx").build();

client = new TransportClient(settings).addTransportAddress(new InetSocketTransportAddress(ipAddress, 9300));4)集群超过5s没有响应

解决方法：

1.设置client.transport.ping_timeout设大

2.代码内加入while (true) {

try {

bulk.execute().actionGet(getRetryTimeout());

break;

}

catch (NoNodeAvailableException cont) {

Thread.sleep(5000);

continue;

}

}

9.elasticsearch 近日被发现漏洞，可以远程执行任意代码，由于elasticsearch提供了http接口，导致可能通过CSRF等方式借助恶意页面浏览发生攻击。 漏洞影响版本:

elasticsearch 1.2以下

测试代码：  浏览器会返回/etc/passwd内容解决方案：

1、在配置文件elasticsearch.yml里设置script.disable_dynamic: true

2、严格限制可访问elasticsearch服务的IP地址

参考：

http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/modules-scripting.html#_disabling_dynamic_scripts

重启后报503错误

详情如此下：[2015-09-23 17:42:33,499][WARN ][transport.netty ] [Erik Magnus Lehnsherr] Message not fully read (request) for [4961353] and

action [discovery/zen/join/validate], resetting

[2015-09-23 17:42:33,522][INFO ][discovery.zen ] [Erik Magnus Lehnsherr] failed to send join request to master [[Red Lotus][

UG2WbJpDTHOB-EjzJFRsow][n025.corp.ncfgroup.com][inet[/10.18.6.25:9300]]], reason [org.elasticsearch.transport.RemoteTransportException:

[Red Lotus][inet[/10.18.6.25:9300]][discovery/zen/join]; org.elasticsearch.transport.RemoteTransportException: [Erik Magnus Lehnsherr]

[inet[/10.18.6.90:9300]][discovery/zen/join/validate]; org.elasticsearch.ElasticsearchIllegalArgumentException: No custom index metadat

a factory registered for type [rivers]]问题原因：都采用默认集群名字的话，不同人不同I配置发到集群会进行连接并选Master，有时候可能因为IP限制连接不上。

更改：自己的测试服务尽量个性命名。