Elasticsearch 2014年11月简报

原创 2014年12月16日 15:07:31

1. Elasticsearch Updates


1.1 Elasticsearch 1.4.0发布了,1.4.x中最新最稳定的版本

这个版本主要加强了Es的稳定性和可靠性,内存管理更合理,加入数据校验以发现损坏的数据,主要变化如下:

(1)磁盘利用率默认每60s检查一次,磁盘满的日志由`DEBUG`改为`WARN`级别,对由磁盘满触发的shard在node之间的移动做了优化。

(2)Doc values把执行sort,aggregations时需要的fielddata写到了磁盘上,解决了默认用 in memory fielddata执行big query超出内存限制或占用过多内存的问题。近期发布的版本对doc values做了巨大的性能改进,根据官方的性能测试,它仅比fielddata慢了约10~25%,并且对于大部分的Queries, sorts, aggregations,scripts几乎感觉不到。

(3)通过Request circuit breaker加入了对单个请求的内存使用限制。

(4)大量使用数据校验以检测数据损坏。

(5)Groovy替代MVEL成为默认的脚本语言。

(6)跨域访问(CORS)默认被禁止。

(7)Shard级别的Query cache使常用的aggregation, suggestions可以立即得到结果。Query cache目前只能用于search_type=count, 没有通过`now`指定时间的query中。

(8)新加入了3个aggregation类型:filterschildrenscripted_metric

(9)一次获取index settings, mappings, warmers, aliases的新GET /index API。详见doc

curl -XGET 'http://es_host:9200/your_index/_settings,_mappings, _warmers,_aliases'

(10)使用Flake IDs代替random UUID,提高了indexing效率和primary key查询效率,见这篇介绍performance considerations for elasticsearch indexing


我们在10月的Es简报中发布了Elasticsearch 1.4.0.Beta1中提到了更详细的变化。


1.2 Elasticsearch 1.3.6发布了,1.3.x中最新最稳定的版本

一堆bug fix,见release notes



2. Elasticsearch Ecosystem Updates


2.1 Elasticsearch 安全工具Shield即将发布

elasticsearch背后的公司elasticsearch.com即将在年底发布一款重量级产品:Shield(elasticsearch的神盾特工局,专门保护elasticsearch的安全)。Shield预计是以elasticsearch插件的方式集成到其中。相信感受过此公司的Marvel易用性的用户应该会很期待这款产品。Shield主要提供了4个功能:

* 基于用户角色对Index读、写、查询的权限控制
* 对基于LDAP和Active Directory验证的支持
* 使用SSL/TLS对es node之间,client和node之间的传输加密
* 记录安全相关的日志


2.2 kibana 4 beta 2发布了

(1)现在支持地图了,利用aggregations在地图上地理位置相关的数据。

                                                  

(2)条形图可以以独立的方式按组绘制了,如在一个数据点上的html,css,php.这正是我们需要的功能。
                                                  



(3)朴素的数据表,只展示数据
                                                  



3. Amazing Slides & tutorials & videos

(1)migrating his Elasticsearch cluster from Canada to France with zero downtime

(2)Having Fun: Python and Elasticsearch, Part 1   使用python入门Elasticsearch 

(3)The ELK Stack in a DevOps Environment  里面有一个在生产环境中Es,Logstash,Kibana配置的Best practices值得一看。

(4)Not all Nodes are Created Equal - Scaling Elasticsearch  扩展Elasticsearch。



4. Meetups in China

Nothing



5. Glossary 术语解释

(1)fielddata 

fielddata的实现思路与倒排索引(inverted index)相反,Es使用倒排索引高效的完成search, 使用fielddata高效得完成aggregations,sorting,filter。fielddata的相关介绍[1]http://www.elasticsearch.org/guide/en/elasticsearch/guide/current/fielddata.html, [2]http://www.elasticsearch.org/guide/en/elasticsearch/guide/current/fielddata-intro.html



6. References

1. shield: you know, for security http://www.elasticsearch.org/blog/shield-know-security-coming-soon/ 
2. Elasticsearch 1.4.0 and 1.3.5 released http://www.elasticsearch.org/blog/elasticsearch-1-4-0-released/
3. This week in ElasticsearchNovember 5, 2014 http://www.elasticsearch.org/blog/2014-11-05-this-week-in-elasticsearch/
4. This week in ElasticsearchNovember 12, 2014 http://www.elasticsearch.org/blog/2014-11-12-this-week-in-elasticsearch/
5. This Week in ElasticsearchNovember 19, 2014 http://www.elasticsearch.org/blog/2014-11-1-this-week-in-elasticsearch/
6. This week in elasticsearchNovember 26, 2014 http://www.elasticsearch.org/blog/2014-11-26-this-week-in-elasticsearch/
7. kibana 4 beta 2: get it now http://www.elasticsearch.org/blog/kibana-4-beta-2-get-now/
8. elasticsearch 1.4.1 and 1.3.6 released http://www.elasticsearch.org/blog/elasticsearch-1-4-1-released/


转载本文请注明作者和出处[Gary的影响力]http://garyelephant.me,请勿用于任何商业用途!
Author: Gary Gao( garygaowork[at]gmail.com) 关注互联网、分布式、高性能、NoSQL、自动化、软件团队


版权声明:本文为博主(微博@Gary的影响力)原创文章,未经博主允许不得转载。博客地址:http://garyelephant.me

相关文章推荐

Go 编程语言规范(2014年11月11日版本)

转自http://ilovers.sinaapp.com/doc/golang-specification.html Go 编程语言规范 2014年11月11日版本 ...

2014年11月19日 Linux nfs磁盘挂载 以及tar命令使用

nfs磁盘挂载命令:  mount:

与大师同行 第57届世界互联网峰会 2014年11月13-16日 中国·深圳

与大师同行 第57届世界互联网峰会 2014年11月13-16日 中国·深圳   咨询热线 400-100-8198 4...

2014年11月APP畅销榜前200IP整理

  • 2015年01月14日 14:43
  • 21KB
  • 下载

2014年11月25日 -------hdfs fs 命令的使用(用到的就扩充上)

hdfs : [hdfs@launcher-17 ~]$ hdfs Usage: hdfs [--config confdir] COMMAND        where COMMAND...

2014年11月1日星期六(DEMO9-3模型纹理读取)

2014年11月1日星期六(DEMO9-3模型纹理读取) 这一节理论很简单,无非就是纹理坐标通过插值和采样两种方式组成的。这节新加的内容就是对模型中的纹理进行了处理。 void ddraw_ma...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Elasticsearch 2014年11月简报
举报原因:
原因补充:

(最多只允许输入30个字)