Elasticsearch 2014年11月简报

原创 2014年12月16日 15:07:31

1. Elasticsearch Updates


1.1 Elasticsearch 1.4.0发布了,1.4.x中最新最稳定的版本

这个版本主要加强了Es的稳定性和可靠性,内存管理更合理,加入数据校验以发现损坏的数据,主要变化如下:

(1)磁盘利用率默认每60s检查一次,磁盘满的日志由`DEBUG`改为`WARN`级别,对由磁盘满触发的shard在node之间的移动做了优化。

(2)Doc values把执行sort,aggregations时需要的fielddata写到了磁盘上,解决了默认用 in memory fielddata执行big query超出内存限制或占用过多内存的问题。近期发布的版本对doc values做了巨大的性能改进,根据官方的性能测试,它仅比fielddata慢了约10~25%,并且对于大部分的Queries, sorts, aggregations,scripts几乎感觉不到。

(3)通过Request circuit breaker加入了对单个请求的内存使用限制。

(4)大量使用数据校验以检测数据损坏。

(5)Groovy替代MVEL成为默认的脚本语言。

(6)跨域访问(CORS)默认被禁止。

(7)Shard级别的Query cache使常用的aggregation, suggestions可以立即得到结果。Query cache目前只能用于search_type=count, 没有通过`now`指定时间的query中。

(8)新加入了3个aggregation类型:filterschildrenscripted_metric

(9)一次获取index settings, mappings, warmers, aliases的新GET /index API。详见doc

curl -XGET 'http://es_host:9200/your_index/_settings,_mappings, _warmers,_aliases'

(10)使用Flake IDs代替random UUID,提高了indexing效率和primary key查询效率,见这篇介绍performance considerations for elasticsearch indexing


我们在10月的Es简报中发布了Elasticsearch 1.4.0.Beta1中提到了更详细的变化。


1.2 Elasticsearch 1.3.6发布了,1.3.x中最新最稳定的版本

一堆bug fix,见release notes



2. Elasticsearch Ecosystem Updates


2.1 Elasticsearch 安全工具Shield即将发布

elasticsearch背后的公司elasticsearch.com即将在年底发布一款重量级产品:Shield(elasticsearch的神盾特工局,专门保护elasticsearch的安全)。Shield预计是以elasticsearch插件的方式集成到其中。相信感受过此公司的Marvel易用性的用户应该会很期待这款产品。Shield主要提供了4个功能:

* 基于用户角色对Index读、写、查询的权限控制
* 对基于LDAP和Active Directory验证的支持
* 使用SSL/TLS对es node之间,client和node之间的传输加密
* 记录安全相关的日志


2.2 kibana 4 beta 2发布了

(1)现在支持地图了,利用aggregations在地图上地理位置相关的数据。

                                                  

(2)条形图可以以独立的方式按组绘制了,如在一个数据点上的html,css,php.这正是我们需要的功能。
                                                  



(3)朴素的数据表,只展示数据
                                                  



3. Amazing Slides & tutorials & videos

(1)migrating his Elasticsearch cluster from Canada to France with zero downtime

(2)Having Fun: Python and Elasticsearch, Part 1   使用python入门Elasticsearch 

(3)The ELK Stack in a DevOps Environment  里面有一个在生产环境中Es,Logstash,Kibana配置的Best practices值得一看。

(4)Not all Nodes are Created Equal - Scaling Elasticsearch  扩展Elasticsearch。



4. Meetups in China

Nothing



5. Glossary 术语解释

(1)fielddata 

fielddata的实现思路与倒排索引(inverted index)相反,Es使用倒排索引高效的完成search, 使用fielddata高效得完成aggregations,sorting,filter。fielddata的相关介绍[1]http://www.elasticsearch.org/guide/en/elasticsearch/guide/current/fielddata.html, [2]http://www.elasticsearch.org/guide/en/elasticsearch/guide/current/fielddata-intro.html



6. References

1. shield: you know, for security http://www.elasticsearch.org/blog/shield-know-security-coming-soon/ 
2. Elasticsearch 1.4.0 and 1.3.5 released http://www.elasticsearch.org/blog/elasticsearch-1-4-0-released/
3. This week in ElasticsearchNovember 5, 2014 http://www.elasticsearch.org/blog/2014-11-05-this-week-in-elasticsearch/
4. This week in ElasticsearchNovember 12, 2014 http://www.elasticsearch.org/blog/2014-11-12-this-week-in-elasticsearch/
5. This Week in ElasticsearchNovember 19, 2014 http://www.elasticsearch.org/blog/2014-11-1-this-week-in-elasticsearch/
6. This week in elasticsearchNovember 26, 2014 http://www.elasticsearch.org/blog/2014-11-26-this-week-in-elasticsearch/
7. kibana 4 beta 2: get it now http://www.elasticsearch.org/blog/kibana-4-beta-2-get-now/
8. elasticsearch 1.4.1 and 1.3.6 released http://www.elasticsearch.org/blog/elasticsearch-1-4-1-released/


转载本文请注明作者和出处[Gary的影响力]http://garyelephant.me,请勿用于任何商业用途!
Author: Gary Gao( garygaowork[at]gmail.com) 关注互联网、分布式、高性能、NoSQL、自动化、软件团队


版权声明:本文为博主(微博@Gary的影响力)原创文章,未经博主允许不得转载。博客地址:http://garyelephant.me

20141112,微软11月12日发布14个安全补丁

大家好,我们是微软大中华区安全支持团队。微软于北京时间2014年11月12日发布了14个新的安全公告,其中4个为严重等级,8个为重要等级,共修复MicrosoftWindows、 Internet E...
  • MSSecurity
  • MSSecurity
  • 2014年11月17日 20:58
  • 1627

Elasticsearch 2014年10月简报

Elasticsearch 2014年10月简报:发展动态,重要更新,社区新闻。
  • gaoyingju
  • gaoyingju
  • 2014年11月12日 11:33
  • 2267

excel时间和日期函数

函数名 函数说明 语法DATE 返回代表特定日期的系列数。 DATE(year,month,day)DATEDIF 计算两个日期之间的天数、月数或年数。 DATEDIF(start_date,end_...
  • quintard
  • quintard
  • 2012年10月24日 14:26
  • 332

Elasticsearch 2014年12月简报

Elasticsearch 1.4.2, 1.3.7发布了, Logstash 1.5.0 Beta 1发布了, Kibana 4 Beta3 发布了,Marvel 1.3.0 发布了, 还有一大堆好...
  • gaoyingju
  • gaoyingju
  • 2015年01月30日 12:53
  • 1677

根据时间的秒数获取间隔月份或天数的时间

package com.base.test; import java.text.SimpleDateFormat; import java.util.Calendar; import java.ut...
  • maoliangfei2011
  • maoliangfei2011
  • 2018年01月10日 15:50
  • 45

2014年下半年信息系统项目管理师真题试题和答案解析

2014年的软考已经过去,2015年的软考报名工作已经悄然陆续开始,作为一个软考信息系统项目管理师过来人,帮大家整理好一套完整的复习计划,根据知识点推荐相应的老师信息系统项目管理师教程,推荐匹配的习题...
  • zck163
  • zck163
  • 2015年02月06日 18:18
  • 791

计算2017年11月11日 11时 11分 11秒 距离当前日期的时间差, 并以指定的格式(天/时/分/秒)的形式显示.

practice5 计算2017年11月11日 11时 11分 11秒 距离当前日期的时间差, 并以指定的格式(天/时/分/秒)的形式显示. var date = new Da...
  • Endeavor_No1
  • Endeavor_No1
  • 2017年08月30日 20:19
  • 438

1940年11月27日李小龙出生

在73年前的今天,1940年11月27日 (农历十月廿八),李小龙出生。   李小龙(原名:李振藩),一代武术宗师、武术技击家、武术哲学家、着名童星、功夫影帝、功夫电影的开创者、武道哲学的创立者...
  • u013777513
  • u013777513
  • 2014年02月25日 17:26
  • 205

11月英语小记

这个月的英语和上个月的英语相比较还是相当不错的,上个月在忙着考试,可能相对分配给英语的时间较少, 这个月涉及到了搬家,然后没有坚持早上的晨读,很遗憾,不过还好,现在在这边又重新开始组织每天早上的晨读...
  • hanxintong9
  • hanxintong9
  • 2015年11月28日 11:53
  • 431

2017年11月第1周学习总结

11月的第一周结束了,这一周在下也在努力吸收着盐分233 咳咳,这周学校的课程终于不是老年人入门电脑世界了,总算教了点有用的东西,就是adobe旗下的神器——Photoshop的基本操作,现在的在下...
  • sora_yang
  • sora_yang
  • 2017年11月05日 23:10
  • 64
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Elasticsearch 2014年11月简报
举报原因:
原因补充:

(最多只允许输入30个字)