Elasticsearch 集群优化总结

一、硬件层面优化配置(1) 合理选择服务器。Elasticsearch的运行对JDK版本、Linux内核、最小内存等都有一定的要求,在安装部署集群之前需要选择和Elasticsearch版本匹配的的服务器配置,同时也要根据业务量做集群规划。(2)提高Linux系统应用程序最大打开文件数。在启动Elasticsearch集群以前,增大机器的最大文件数,可以避免数据导入高峰时期打开文件过多异常的发生。...
阅读(2104) 评论(4)

elasticsearch聚合案例--分组、求最大值再求最大值的均值

#一、需求 A、B、C代表3个用户,第二列代表各自的得分,求A、B、C的最好成绩以及A、B、C最好成绩的均值A 10 A 11 A 13 B 11 B 11 B 12 C 10 C 10 C 11 C 15二、思路先terms分组,求最大值,最后加一个pipeline均值。一开始想用bucket_script解决,实验发现走不通,但是bucket_script在聚合结果之上操作很有用三、测试数据P...
阅读(1127) 评论(2)

Elasticsearch压力测试工具-Apache Jmeter

一、下载Jmeter下载地址:http://jmeter.apache.org/download_jmeter.cgi解压之后运行:/apache-jmeter-3.2/bin ./jmeter二、添加线程组依次店测试计划->添加->threads->线程组:在线程组中添加线程数和用户数,模拟用户访问: 10个用户,每个用户200个线程,循环10次。三、添加请求在线程组下,依次添加->Samp...
阅读(1140) 评论(0)

Elasticsearch 5.4 Query DSL

Elasticsearch提供了丰富的查询语句DSL,查询可分2类: Leaf Query:查询特定字段特定值的查询,可以单独使用,比如match查询、term查询、range查询。 Compound Query:组合查询,组合多个简单查询或者特殊查询。先占坑,有时间更新Y(^_^)Y...
阅读(731) 评论(0)

Elasticsearch 5.4 Documents API

ELasticsearch文档的CRUD主要包括以下2个大的方面:单文档和多文档,翻译如下:一、单文档API1.1 Index API写入文档,索引为twitter,type为tweet,id为1:PUT twitter/tweet/1 { "user" : "kimchy", "post_date" : "2009-11-15T14:12:12", "message" :...
阅读(1207) 评论(0)

Elasticsearch 5.4 Indices(索引) API

前言 一索引管理 1 创建索引 2 删除索引 3 查看索引信息 4 索引是否存在 5 关闭打开索引 6 索引收缩 7 翻滚索引 二mapping管理 1 设置mapping 2 查看mapping 3 获取字段mapping 4 类型是否存在 三别名管理 1 索引别名设置 四索引配置 1 获取索引设置 2 更新索引设置 3 分析器 4 索引模板 五监控管理 1 索引统计信息 2 索引段 3 索引恢复...
阅读(1138) 评论(0)

Elasticsearch 5.4 Mapping详解

前言 一Field datatype字段数据类型 1string类型 2 text类型 3 keyword类型 4 数字类型 5 Object类型 6 date类型 7 Array类型 8 binary类型 9 ip类型 10 range类型 11 nested类型 12token_count类型 13 geo point 类型 二Meta-Fields元数据 1 _all 2 _field_nam...
阅读(4023) 评论(0)

ELK日志处理之Filebeat工作原理

Filebeat简介、Filebeat和Logstash的对比、Filebeat工作原理、配置...
阅读(2498) 评论(0)

MapReduce编程(六) 从HDFS导入数据到Elasticsearch

Elasticsearch for Hadoop安装以及如何从HDFS导入数据到Elasticsearch...
阅读(5019) 评论(5)

Intellij Idea编译Elasticsearch源码

如果想阅读Elasticsearch源码,定制功能,不可避免的要编译Elasticsearch。本文图文并茂,介绍如何使用Intellij Idea编译Elasticsearch源码包。...
阅读(4029) 评论(1)

ELK日志处理之使用Grok解析日志

介绍如何在logstash中使用Grok和正则表达式解析任意格式日志,以及Grok Debugger的使用。...
阅读(4116) 评论(0)

图解Elasticsearch中的_source、_all、store和index属性

Elasticsearch中有几个关键属性容易混淆,很多人搞不清楚_source字段里存储的是什么?store属性的true或false和_source字段有什么关系?store属性设置为true和_all有什么关系?index属性又起到什么作用?什么时候设置store属性为true?什么时候应该开启_all字段?本文通过图解和代码测试进行解析。...
阅读(6542) 评论(9)

ELK日志处理之使用logstash收集log4J日志

介绍logstash处理log4j日志,包括log4j的简介、工程的搭建、log4j配置、logstash配置,实现日志从产生到logstash再到Elasticsearch的整个流程。...
阅读(9413) 评论(0)

Elasticsearch整合Mysql新闻搜索

Elasticsearch整合Mysql,实现数据导入、全文搜索、搜索高亮、结果分页...
阅读(2080) 评论(20)

Elasticsearch Java API(十一)--聚合(aggregations)

Elasticsearch分析聚合介绍了分析聚合的REST命令,这篇博客介绍一下如何使用Java API。一、准备数据测试数据请参考我的上一篇博客:Elasticsearch分析聚合。二、需求查询title中包含关键字”程序”的文档,统计查询按编程语言分组,统计每组的文档数量。三、REST命令行REST命令行如下,有三部分,query查询所有title中包含关键词程序的文档,size指定返回结果中文...
阅读(2875) 评论(0)

Elasticsearch 5.1.1搜索高亮及Java API实现

5.1.1的搜索高亮和2.X有所变化,但是变化不大。下面分四步来介绍:创建索引(设置mapping/IK分词)、索引文档、REST API的搜索高亮、JAVA API的搜索高亮。 注:从这篇博客开始,采用简写的代码风格,也就是Sence插件或者kibana的dev tools中采用的风格。(温馨提示:安装kibana 5.1.1,在dev tools中直接可以使用简单格式命令。)一、创建索引文档结...
阅读(10194) 评论(9)

Elasticsearch 5 Ik+pinyin分词配置详解

一、拼音分词的应用拼音分词在日常生活中其实很常见,也许你每天都在用。打开淘宝看一看吧,输入拼音”zhonghua”,下面会有包含”zhonghua”对应的中文”中华”的商品的提示:拼音分词是根据输入的拼音提示对应的中文,通过拼音分词提升搜索体验、加快搜索速度。下面介绍如何在Elasticsearch 5.1.1中配置和实现pinyin+iK分词。二、IK分词器下载与安装关于IK分词器的介绍不再多少,...
阅读(14003) 评论(12)

Elasticsearch 5.1.1 head插件安装指南

Elasticsearch 5.1.1 head插件安装指南一、下载安装包下载Elasticsearch 5.1.1下载地址:https://www.elastic.co/downloads/elasticsearchzip和tar格式是各种系统都通用的,解压之后启动Elasticsearch即可。下载elasticsearch-head下载地址:https://github.com/mobz/el...
阅读(21092) 评论(16)

Elasticsearch 5.X下JAVA API使用指南

Elasticsearch 5.0下Java API使用指南一.2.X到5.XElasticsearch 2.x使用java api把elasticsearch安装包下的lib文件夹下的jar文件全部加入到工程类路径即可,换到5.x就不适用了.创建Clien的代码:Settings settings = Settings.builder().put("cluster.name", "elastics...
阅读(25561) 评论(39)

Elasticsearch分析聚合

Elasticsearch不仅仅适合做全文检索,分析聚合功能也很好用。下面通过实例来学习。一、准备数据{"index":{ "_index": "books", "_type": "IT", "_id": "1" }} {"id":"1","title":"Java编程思想","language":"java","author":"Bruce Eckel","price":70.20,"year":...
阅读(4927) 评论(0)
40条 共2页1 2 下一页 尾页
    QQ群

    交流群:559831158

    个人资料
    • 访问:697332次
    • 积分:7653
    • 等级:
    • 排名:第2926名
    • 原创:190篇
    • 转载:2篇
    • 译文:6篇
    • 评论:407条
    StackOverFlow
    http://stackoverflow.com/users/6526424
    统计
    博客专栏
    文章分类
    最新评论