Elasticsearch 2014年12月简报

原创 2015年01月30日 12:53:33

1. Elasticsearch Updates


1.1 Elasticsearch 1.4.2发布了

    一些改进和bug fix,没有大变化:

    (1) 根据磁盘剩余空间判断shard存储位置的逻辑在速度上有大幅提升,这也提升了cluster重启后的恢复速度。

    (2) 提升了把Snapshot镜像到shared file system的速度。

    (3) 减少了不必要的cluster state更新。

    (4) index stats API 在有shard恢复的情况下不再阻塞。


1.2 Elasticsearch 1.3.7发布了

    改进和bug fix,release note见:Elasticsearch 1.3.7 released


1.3 官方documents更新

    Elasticsearch, Logstash, Kibana, Marvel的官方documents, tutorial现在都统一放在了这里:http://www.elasticsearch.org/guide/。以后看docs统统到这里!这里的logstash的documents比logstash.net的更详尽,以后logstash.net的documents也会逐渐停止更新。


2. Elasticsearch Ecosystem Updates


2.1 Logstash 1.5.0 Beta 1发布了

1.5.0最大的变化在插件管理上。

    (1) 插件管理:插件与Logstash主程序分离了,使用 rubygems.org来发布插件,另外附带一个plugin命令来管理插件。所以现在Logstash与Elasitcsearch的插件管理方式相似了。

    (2)  性能提升:grok filter的正则匹配做了优化,如官方测试了一下COMBINEDAPACHELOG,相比1.4.2,性能近乎提高了1倍。json的序列化与反序列化性能提升超过了1倍。

    (3)  Apache Kafka:增加了对最近很火的分布式消息系统kafka input,output的支持.

    (4) 安全性:elasticsearch input, filter, output插件增加了验证和传输层的加密支持。(这是为Elasticsearch.com公司的另一款即将发布的安全产品Shield做准备的)transport encryption support.

    (5) 改进和bug fix:

允许为event包含`metadata`,它不会被logstash output插件输出,这个新功能避免了在event上生成临时的`field`.([#1834](https://github.com/elasticsearch/logstash/issues/1834), [#LOGSTASH-1798](https://logstash.jira.com/browse/LOGSTASH-1798))。同时Logstash输出时默认去掉了`message.raw `。


科普:如何安装Kafka插件
 安装kafka input插件:
 $LS_HOME/bin/plugin install logstash-input-kafka
 安装kafka output插件:
 $LS_HOME/bin/plugin install logstash-output-kafka

2.2 Kibana 4 Beta3 发布了


2.2.1 interactive charts and dashboards

`Dashboard` Tab上添加了`filter`,条形图,饼图上的元素都可以点击来创建`filter`,`filter`的操控性比kibana3 更好。



2.2.2 scripted fields

用户可用脚本对若干field的值进行计算或字符串操作,并将结果输出到另外的field中。这个field是`scripted field`,可以像普通field一样在kibana中使用它。因为`scripted field`不存储在elasticsearch中,所以不能对其进行搜索。


2.2.3 highlighting and a new format for _source

在搜索的结果数据中,关键词被高亮,显得更突出。`_source`的展现方式也更加人性化。


2.2.4 hit links

看上图,如果要分享一条数据给其他人,可以点右侧的`Link to....`。以前只能分享整个`dashboard`的链接,现在可以分享单条数据的链接,但这个有啥用呢?我觉得倒不如能分享单个图表更有意义,像`keen.io`提供的api那样,方便把某个图表嵌入到任意页面中。


2.2.5 metric visualization

新增了`metric`类型,就是一个图表中只有一个大大的数字。



2.3 elasticsearch 的.NET client NEST 1.3.0发布了

详见release note: https://github.com/elasticsearch/elasticsearch-net/releases/tag/1.3.0


2.4 Marvel 1.3.0 发布了

    主要更新如下:

    (1) sense中加入了1.4.x新增的api自动补全提示。

    (2) 增加了对HTTPS的支持。

    (3) monitoring ui增加了对elasticsearch 1.4.0新增的 circuit breakers的监控,以及对circuit break limit,  Query Cache, index throttling, index writerd的内存使用,version map的监控。

    (4) Sense: 增加了禁掉mappings和index名称自动完成的设置。PS:以前没有此功能时,我们的es集群有200+ index, 打开sense会假死一段时间,因为浏览器要解析很多mappings.

    (5) sense 新增API举例: Cluster Reroute API, Get Field Mappings API, cluster.routing.allocation.* settings,  Scripted Metric Aggregation, simple_query_string query, Top Hits aggregation,  Percentiles Rank aggregation,  Disk Threshold Allocator settings


完整的更新列表见[marvel 1.3.0 released](http://www.elasticsearch.org/blog/marvel-1-3-0-released/)

    

3. Amazing Slides & tutorials & videos


    (1) exciting logstash plugin ecosystem changes
     这篇blog讲了logstash 1.5.x的插件管理方式及开发方式。
     http://www.elasticsearch.org/blog/plugin-ecosystem-changes/

    (2) Maintaining performance in distributed systems by Elasticsearch Inc
     https://speakerdeck.com/elasticsearch/maintaining-performance-in-distributed-systems

     (3) setting up and using Kibana 4 Beta
     Kibana 4 尝鲜
     http://amsterdam.luminis.eu/2014/12/01/experiment-with-the-kibana-4-beta/#more-76

    (4)  [Video] Short and sweet: Demo of Weave to tie together Elasticsearch, Docker, and Apache Spark
    翻墙吧,兄弟!
    https://www.youtube.com/watch?v=BSY9rnK9QBs&list=UUmIz9ew1lA3-XDy5FqY-mrA

    (5) Optimization of Relevance Scores in Elasticsearch 
    https://www.voxxed.com/blog/2014/12/advanced-scoring-elasticsearch/

    (6)  Logstash on Linux with Elasticsearch, Redis, and Nginx
    ELK入门,很详细的DIY教程
    http://www.thegeekstuff.com/2014/12/logstash-setup

    (7) Tuning for Elasticsearch
    ES性能优化,法语的,用translate.google.com搞定吧 
    http://blog.ebiznext.com/2014/12/16/elasticsearch-performance-tuning/

    (8) Scripted Aggregations 
     http://www.elasticsearch.org/videos/scripted-aggregations-london-december-meetup-2014/
 

4. Meetups in China

    Nothing


References

1.      Elasticsearch 1.4.2 and 1.3.7 releasedDecember 16, 2014 http://www.elasticsearch.org/blog/elasticsearch-1-4-2-released/
2.      This Week in ElasticsearchDecember 3, 2014 http://www.elasticsearch.org/blog/2014-12-03-this-week-in-elasticsearch/
3.      This week in ElasticsearchDecember 10, 2014 http://www.elasticsearch.org/blog/2014-12-10-this-week-in-elasticsearch/
4.      This Week in ElasticsearchDecember 17, 2014 http://www.elasticsearch.org/blog/2014-12-17-this-week-in-elasticsearch/
5.      Kibana 4 Beta 3: Now more filteryDecember 16, 2014 http://www.elasticsearch.org/blog/kibana-4-beta-3-now-more-filtery/
6.      Logstash 1.5.0.Beta1 releasedDecember 11, 2014 http://www.elasticsearch.org/blog/logstash-1-5-0-beta1-released/
7.      Exciting Logstash Plugin Ecosystem ChangesDecember 12, 2014 http://www.elasticsearch.org/blog/plugin-ecosystem-changes/ 
8.      NEST and Elasticsearch.NET 1.3December 9, 2014 http://www.elasticsearch.org/blog/nest-and-elasticsearch-net-1-3/
9.      Marvel 1.3.0 releasedDecember 17, 2014 http://www.elasticsearch.org/blog/marvel-1-3-0-released/



版权声明:本文为博主(微博@Gary的影响力)原创文章,未经博主允许不得转载。博客地址:http://garyelephant.me

2014年12月23日 平常心

第一章 平常心--A contented mind is thegreatest blessing a man can enjoy in this world.知足是人生在世最大的幸事。  回家后和z...
  • tianlesoftware
  • tianlesoftware
  • 2014年12月23日 23:42
  • 2908

2014年12月30日

chattr,SUID,SGID,SBIT,file,which,whereis,locate,find
  • titahot88
  • titahot88
  • 2014年12月30日 08:39
  • 325

2014年12月24日

权限,文件类型,目录结构,分区
  • titahot88
  • titahot88
  • 2014年12月24日 08:50
  • 204

2014年12月08日

Java 解决一些ACM中大数问题 大数中算术运算结果的首选标度 运算 结果的首选标度 加 max(addend.scale(), augend.scale()) 减 max(m...
  • github_27609763
  • github_27609763
  • 2015年04月28日 15:32
  • 463

2014年12月01日

Pcap库的安装及网络环境的搭建 总是在决定写这些东西的时候觉得时间不够,脑子刚闪现出这些矛盾,同时就被自我否定打败:没有时间就说明自己做事情的效率不高,也说明了自己的时间安排得不够合理。 废话不...
  • u011414997
  • u011414997
  • 2015年10月14日 22:46
  • 179

2014年12月08日

在用C或者C++处理大数时感觉非常麻烦,但是在JAVA中有两个类BigInteger和BigDecimal分别表示大整数类和大浮点数类,至于两个类的对象能表示最大范围不清楚,理论上能够表示无线大的数,...
  • github_27609763
  • github_27609763
  • 2015年04月28日 15:32
  • 446

2014年12月28日

一、holder的错误: android中经常会用到listview。在给listview填充数据时,为了提高效率,通常会使用holder来封装控件及其数据。使用方法如下:     public V...
  • Langxingtianxi
  • Langxingtianxi
  • 2015年01月07日 16:22
  • 344

2014年11月3日至2014年12月29日

2014年11月3日 1.在MyEclipse中运行写好的MapReducer,抛出: 2014-11-0310:59:24,729 WARN [main] util.NativeCode...
  • wangyaqi123
  • wangyaqi123
  • 2015年02月03日 17:02
  • 483

2014年12月30日年终总结(UPDATING)

转眼之间,一年又要过去了。       接下来两周是期末考试周,虽然科目数目不多(模电、信号、大学物理、大学英语、概率论与随机过程、马原,顺便吐槽一下,这学期的课是我最不感兴趣的,但是作为一个有轻度强...
  • u011626066
  • u011626066
  • 2014年12月30日 23:49
  • 303

【金融财经】金融市场一周简报(2017-11-10)

全球市场概览、A股市场回顾、异动个股、绩优基金、热点新闻
  • JDJRdata
  • JDJRdata
  • 2017年11月12日 12:37
  • 142
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Elasticsearch 2014年12月简报
举报原因:
原因补充:

(最多只允许输入30个字)