Elasticsearch 2014年10月简报

原创 2014年11月12日 11:33:08

1. Elasticsearch Updates


1.1 发布了Kibana 4 Beta 1 和Beta 1.1

         Kibana 4无论是在界面的布局,使用配置方法,还是底层绘制图表的方式都与Kibana不同。在Kibana 3的基础上吸取了众多社区的功能需求后,Kibana自Kibana 2 大改造成Kibana 3 后第二次做出了重大改变。Kibana真是一直致力于帮助用户解决他们在数据可视化上的棘手问题。


        界面由原来的一个`Dashboard`,改为现在的`Discover`, `Visualize`, `Dashboard`三个Tab,再加上`Settings`总共4个不同的Tab。

        Discover : 这个Tab的界面是不是与以前的Kibana 2 很像?面向index的查询,即搜索index内容。搜索框中可以输入`Lucene Query String syntax`或者es的`json格式的query`,而且现在query不在仅仅属于某个dashboard,现在是全局共享的,而且可以通过URL传入,链接到某个query变得非常简单.



        Visualize : 可以使用es的`aggregations`做逻辑复杂多样化的图表。(kibana3使用的es的facet,aggregations比它功能多,更复杂),点击visualize底部的灰色可以直接看到图表的原始数据,request,response和请求处理时间等相关统计。



        Dashboard : Dashboard还是用来创建一个图表集的,满足特定的一类可视化需求,但是它比以前更容易配置和维护。显而易见,Kibana 4大大增加了图表和query的可重用性。在Visualize中创建的图表可以在Dashboard中重用多次。现在,一个Dashboard还可以展示多个index的数据。



        Settings : kibana的一些全局设置

注意:Kibana 3与Kibana 4的schema不兼容,Kibana 3的配置不能导入到Kibana 4中。Kibana 4需要Elasticsearch的版本 >= 1.4.0


1.2 发布了Elasticsearch 1.4.0.Beta1

        这个版本的主要在稳定性和可靠性上做了改进。

        1.2.1 Better node stability through reduced memory usage.

                对最近引入的doc value机制做了大幅改进,用来替换原来的in memory fielddata。doc value是原来存在内存中用来做聚合,统计,查询的字段的值存在磁盘上,利用 系统内核的filesystem cache来加速对doc value的访问,使性能接近原来的fielddata。

                增加了对处理单个请求可占用的内存的限制(request circuit breaker)。


        1.2.2 Better cluster stability through improved discovery algorithms.

                修复了诸多用户在生产环境中遇到的集群不稳定的问题。并在resiliency status详细列出了用户提交的相关问题及它们的修复进度和在生产环境中保护数据的措施。


        1.2.3 Better detection of corrupted data through checksums.

                在shard recovery, merging, transaction log等多处加入Checksums 验证功能来验证数据是否损坏。


        1.2.4 其他主要更新

                groovy替换了mvel成为ES默认的脚本语言来提高安全性和运行效率。
                处于安全性考虑,跨域访问改为默认关闭。

                新增了3种aggregations类型:filters,children ,scripted_metric 。

        随着ES中集成的Lucene版本的不断更新,以后的ES版本中将逐渐不在支持Lucene 3.x的index,所以ES新增了your_index/_upgrade REST API用以将老旧的index转换为兼容最新Lucene的index.



2. Elasticsearch Ecosystem Updates


        2.1 发布了Elasticsearch Hadoop 2.0.2 and 2.1.Beta2



3. Amazing Slides & tutorials &  videos


        playing http tricks with nginx

                使用nginx来做es的proxy,提供持久http链接,load balance, security control(basic http auth, role based auth,oauth)功能

                链接:http://www.elasticsearch.org/blog/playing-http-tricks-nginx/

        deploying the ELK stack using Docker

                用时下流行的app容器docker部署ELK

                链接:https://clusterhq.com/blog/deploying-multi-node-elasticsearch-logstash-kibana-cluster-using-docker/

        Elasticsearch from the Top Down Tracing a Request Down to the Bits

                从Elasticsearch实现底层讨论了ES集群处理index ,query请求的过程。

                链接:https://found.no/foundation/elasticsearch-top-down/

        Building Scalable Search from Scratch with ElasticSearch

                一个基础详细的tutorial

                链接:http://www.airpair.com/elasticsearch/posts/elasticsearch-robust-search-functionality


4. Meetups in China


        10月25日,第三届elasticsearch国内开发者交流大会。详细信息:http://www.meetup.com/Elasticsearch-China-Users/events/210253352/。
大会PPT下载:http://pan.baidu.com/s/1i3qsoBF



References:

[1]:  http://www.elasticsearch.org/blog/kibana-4-beta-1-released/ "Kibana 4 Beta 1 released"
[2]: http://www.elasticsearch.org/blog/kibana-4-beta-1-1-pointy-needles-blunted/ "kibana 4 beta 1.1: pointy needles blunted "
[3]: http://www.elasticsearch.org/blog/elasticsearch-1-4-0-beta-released/ "Elasticsearch 1.4.0.Beta1 released"
[4]: http://www.elasticsearch.org/guide/en/elasticsearch/resiliency/current/index.html "resiliency status"
[5]: http://www.elasticsearch.org/blog/scripting/ "all about scripting"
[6]: http://www.elasticsearch.org/blog/elasticsearch-hadoop-2-0-2-and-2-1-beta2/ "Elasticsearch Hadoop 2.0.2 and 2.1.Beta2 released"
[7]: http://www.elasticsearch.org/blog/2014-10-08-this-week-in-elasticsearch/ "This week in Elasticsearch October 8, 2014"
[8]: http://www.elasticsearch.org/blog/2014-10-15-this-week-in-elasticsearch/ "This week in Elasticsearch October 15, 2014"
[9]: http://www.elasticsearch.org/blog/2014-10-22-this-week-in-elasticsearch/ "This Week in ElasticsearchOctober 22, 2014"
[10]: http://www.elasticsearch.org/blog/2014-10-29-this-week-in-elasticsearch/ "This week in ElasticsearchOctober 29, 2014"
[11]: http://www.elasticsearch.org/blog/playing-http-tricks-nginx/ "playing http tricks with nginx"
[12]: https://clusterhq.com/blog/deploying-multi-node-elasticsearch-logstash-kibana-cluster-using-docker/ "deploying the ELK stack using Docker"
[13]: https://found.no/foundation/elasticsearch-top-down/ "Elasticsearch from the Top Down Tracing a Request Down to the Bits"
[14]: http://www.airpair.com/elasticsearch/posts/elasticsearch-robust-search-functionality "Building Scalable Search from Scratch with ElasticSearch"


转载本文请注明作者和出处[Gary的影响力]http://garyelephant.me,请勿用于任何商业用途!
Author: Gary Gao( garygaowork[at]gmail.com) 关注互联网、分布式、高性能、NoSQL、自动化、软件团队

版权声明:本文为博主(微博@Gary的影响力)原创文章,未经博主允许不得转载。博客地址:http://garyelephant.me https://blog.csdn.net/gaoyingju/article/details/41040531

Vector在Java编程中的应用

Vector 类提供了实现可增长数组的功能,随着更多元素加入其中,数组变的更大。在删除一些元素之后,数组变小。Vector 有三个构造函数,public Vector(int initialCapac...
  • wxyxl
  • wxyxl
  • 2001-05-15 16:11:00
  • 1220

自考通信概论09 14 含2014年10月 试题含部分答案

  • 2015年03月11日 10:28
  • 303KB
  • 下载

HTML5在2014年10月29日发布新标准

应用须知 它可能会消灭Flash 许多业内人士表示,HTML将会最终代替多媒体框架,如Adobe的Flash,但是短期看来还不是时候。HTML5估计到2014年才能逐步成熟,而且将现有应用...
  • u010968153
  • u010968153
  • 2014-10-31 10:08:52
  • 461

Elasticsearch 2014年11月简报

Elasticsearch 1.4.0发布了, Elasticsearch 安全工具Shield即将发布, kibana 4 beta 2发布了,The ELK Stack in a DevOps E...
  • gaoyingju
  • gaoyingju
  • 2014-12-16 15:07:31
  • 1465

最新县及县以上行政区划代码(截止2014年10月31日)

  • 2015年05月29日 12:07
  • 236KB
  • 下载

申屠青春对“链”和“币”的再思考

申屠青春对“链”和“币”的再思考 2018-02-07 银链 本文是申屠青春在2018年1月30日下午在中信证券2018年度北京金融论坛上的演讲整理稿,有补充和删节。银链科技在区块链行业进行了5年...
  • wowotuo
  • wowotuo
  • 2018-02-08 20:21:42
  • 179

list相关的函数

(1) any(List) List 中任何一个元素都有逻辑真,则返回 True,全为假返回 False all(List) List 中所有元素都为真时返回 True,否则返回 False ...
  • wuxiaobingandbob
  • wuxiaobingandbob
  • 2015-07-22 11:24:05
  • 395

使用js计算距离2017年10月1日00:00时间

1 . 现在是2017/9/1,所以不计算年份.月份也不用计算,十月份的1号在day里面计算直接+1就行了. 2 . ...
  • Myair_AC
  • Myair_AC
  • 2017-09-01 22:16:07
  • 256

高通QCA8337N 7口1000M交换芯片(包含光口)最新版datasheet

  • 2017年06月16日 17:39
  • 2.14MB
  • 下载

2017年10月自考04735数据库系统原理试卷及答案解释

  • 2018年03月13日 09:22
  • 679KB
  • 下载
收藏助手
不良信息举报
您举报文章:Elasticsearch 2014年10月简报
举报原因:
原因补充:

(最多只允许输入30个字)