chian1949-CSDN博客

转载在YARN上运行ElasticSearch

这么做的目的，主要是为了统一资源管理(cpu和内存)。一体化平台，spark，es ,mr等都在一起跑的时候，做好资源的调度。在故事开始之前，先去把插件下载了。插件地址安装主要参考了官方文档 [root@masternq]#hadoopjarelastic...

2015-03-30 15:43:00 275

转载 ambari 二次开发之增加ElasticSearch服务

Ambari是支持服务扩展的，只需要，恩，整理，打包，扔我们的服务到它的资源目录，重启服务器就可以了。听起来很简单。它的服务组织结构是分Stack /Service /Component 3层的。所以我们从Stack开始。一个自定义Stack的目录结构如图(从HDP的复...

2015-03-21 13:55:00 300

转载 elasticsearch 源代码分析之引擎

Engine是ES最接近神Lucene的地方，是对Lucene分布式环境访问的一层封装。这个类的接口，是个命令模式，所以很自然的实现了操作日志translog。引擎旧版本的实现类叫RobinEngine，新版本改名了，而且加了几个版本类型。不过这对我们分析源码影响不大。它主要...

2015-01-06 17:15:00 192

转载显示访问elasticsearch集群的IP

研发环境的集群可能有好多组在用，有些个可能使用不当或者执行繁重统计，性能测试什么的，导致集群压力很大，影响别人。这个时候需要第一时间找出谁在使用集群。日常维护用fabric的，本来不用界面的，界面是个意外之作。扫描就是端口扫描，用来辅助我判断对方的，比如开着80端口，我点过去是...

2014-12-14 21:13:00 518

转载使用JConsole远程监控elasticsearch

ES虽然有Bigdesk插件进行监控，但是JVM调优的时候，还是习惯了用JConsole监控。 ES的JVM参数，可以在elasticsearch-servicewrapper插件的elasticsearch.conf配置文件里很方便的设置。配置文件 #远程监控JVM...

2014-12-13 14:05:00 413

转载 elasticsearch 批量入库bulk性能测试

背景我的需求很简单，就是用httpCilent组件，通过REST批量接口bulk提交一些数据。跑一下代码1W条数据导入完成耗时0.843秒，到这里我本可以高高兴兴的交差了，但是我又干了一件事情，用Java原生客户端跑了1W条数据，发现导入速度是0.359秒。管他呢，完成任...

2014-11-21 14:40:00 1122

转载 elasticsearch的hadoop插件使用

ES的Hadoop插件，总共有3个，我们要使用的是 hadoop HDFS Snapshot/Restore plugin，它主要用于备份ES数据到ＨＤＦＳ，或者从ＨＤＦＳ恢复数据，也就是ＥＳ的snapshot/restore特性。还原可以还原到别的集群，集群名字和节点数量不一...

2014-11-13 22:08:00 260

转载 elasticsearch 源代码分析之Master选举

ES 有Master节点和Data节点，Master节点什么意思呢？就是主人节点，这个集群的主人，就是皇帝。ES同一时刻只有一个Master节点。小生一直看古装走火入魔，所谓心里有王朝，眼里就有王朝，看啥啥是王朝。就用王朝解释下集群，皇帝比喻下Master。我们先来看2个配置...

2014-11-05 11:26:00 240

转载 elasticsearch 导入导出CSV

坦白说，这是第一个python程序，虽然看起来写的很烂，但是你放心，我试过了无毒，而且运行结果，既然是正确的！导出CSV importcsvimportsysimportloggingimportdatetimefromelasticsearchimportEla...

2014-11-03 16:51:00 1649

转载 elasticsearch 源代码分析之ScanScroll

ScanScroll 的特点优点速度快大数据量缺点不支持排序不支持分页不支持评分不支持续查使用场景看起来，缺点要比优点多很多，不过它很有用。如果说BULK是为了快速入库存...

2014-10-27 16:57:00 140

转载 elasticsearch 源代码分析之集群健康

趣味的解释一下，如果把一个ES集群，比喻成王朝的话，3个状态，是这样的绿色，太平盛世，国家一片大好黄色，奸臣当道，国家危在旦夕红色，皇上不上朝，是可忍孰不可忍绿色的话，男耕女织，该干啥干啥，就不用管了，黄色的话，哪个王朝没有奸臣啊，...

2014-10-08 15:02:00 166

转载 elasticsearch 源代码分析之客户端负载均衡

客户端负载均衡技术是，客户端维护一组服务器引用，每次客户端请求的时候，会根据负载均衡算法选中一个节点，发送请求。常用的负载算法有Random，Roundrobin，Hash，StaticWeighted等。ES的客户端负载使用了Roundrobin算法。(另外Hash一致性算法还会...

2014-10-06 00:04:00 200

转载 elasticsearch 插件开发 (四) 源代码分析

elasticsearch 的基础类，主要分成Component （组件）和Module （模块）。组件 CloseableComponent 可关闭组件 AbstractComponent ...

2014-09-26 13:52:00 176

转载 elasticsearch 插件开发 (三)

现在我们用bootstrap+angularJs 来写一个简单的页面，一个site插件，它通过我们前面开发的translogRest插件访问操作日志，并且展示。 <!doctypehtml><htmlng-app='app'ng-control...

2014-09-23 15:50:00 79

转载 elasticsearch 插件开发 (二)

elasticsearch 的 jvm插件要实现Plugin接口，或者继承子AbstractPlugin抽象类。可以实现Module 和Services 两种组件，它们分别有 3个生命周期 global , index ,shard 。整体的项目结构是这样的。我...

2014-09-23 12:46:00 123

转载 elasticsearch 插件开发 (一)

ES 的插件分成 jvm插件和 site 插件 2种，所以我们通过2个例子来认识下整个插件开发的流程。我们要开发的是一个查看 ES 的操作日志 Translog 的插件，先开发一个jvm插件，它扩展一个 REST接口 _translog 来提供获取Translog的功能，然后通过s...

2014-09-23 11:59:00 121

转载 Kibana3 技术选型

kibana3是ElasticSearch的WebUI系统。主要用来展示日志，或者通用数据。有一定的局限性，所以最后选型没有通过。但是从技术角度确是个人最喜欢的前端产品之一。使用了angularjs/bootstrap/jquery.flot提供了下面这些可视化组件...

2014-08-21 22:46:00 258

转载没有源代码，如何修改别人的类

作为一个流氓程序猿，打劫放火的时候，经常需要修改别人已经编译的类，在一些，没有源代码，隔离内网,破解注册码，等特殊场景下。 1. 显而易见想办法把源代码弄过来，导入项目，凑齐Jar包，然后。。没有了 2. 祭出神器招式：使用字节码工具，比如javass...

2014-08-07 11:23:00 648

chian1949的博客