elasticsearch
文章平均质量分 62
DPnice
这个作者很懒,什么都没留下…
展开
-
Jest 异步根据文档ID进行批量删除
/** * 异步批量删除 * * @param indexName * @param typeName * @param ids * @return isSucceeded * @throws IOException */public boolean delete(String indexName, String typeName, Set<Object> ids) ...原创 2018-04-02 18:49:28 · 1646 阅读 · 1 评论 -
SparkSQL 从 MySql 中表连接查询数据到 ElasticSearch
前言:因为需要需要将 mysql 中的 3张表连接查询 最后将数据导入es 中需要的jar包: <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> ...原创 2018-05-07 17:03:14 · 1167 阅读 · 0 评论 -
Elasticsearch 压测方案之 es rally 简介
rally文档:http://esrally.readthedocs.io/en/latest/quickstart.html由于 Elasticsearch(后文简称es) 的简单易用及其在大数据处理方面的良好性能,越来越多的公司选用 es 作为自己的业务解决方案。然而在引入新的解决方案前,不免要做一番调研和测试,本文便是介绍官方的一个 es 压测工具 esrally,希望能为大家带来帮助。为什...转载 2018-05-21 16:38:08 · 1380 阅读 · 0 评论 -
ES 5.5.3 esrally压测过程及对比
前言:所有操作在mac下操作(在linux上操作相同命令有差异)======安装homebrew=======ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" ==> This script will install:/usr/local/bin/brew/usr...原创 2018-05-21 17:01:40 · 1470 阅读 · 0 评论 -
ElasticSearch5.X script_fields 解释及例子
前言:es6.X 有所改变 本例子只测试了 5.X,但是道理嘛 都一样。看下6.X的文档再看一下本文就懂了。DSL1:#直接用文档的某个字段做计算GET /quality_control/my_type/_search{ "query": { "match_all": {} }, "script_fields": { "test1": { "script...原创 2018-05-08 12:00:56 · 10559 阅读 · 2 评论 -
用Grafana创建监控指标仪表盘监控elastic search
监控elasticsearch可以用官方的X-Pack的Monitoring(监控组件)甚至用X-Pack的Machine Learning组件来创建需要的监控指标。本文用的是Grafana+python脚本实现监控es的功能。首先安装Grafana(涵盖了很多不同操作系统的安装方法): http://docs.grafana.org/installation/rpm/ 然后在仪表盘里找到e...原创 2018-06-26 17:46:07 · 5838 阅读 · 0 评论 -
嵌套聚合求百分比——es记一次关于 bucket_script 根据需求不断改进的DSL及jestAPI
需求:求每个科室下不同病历级别的百分比。 思路:按每个科室分组,再按级别分组,再求占比。 开动。第一次尝试:POST /medicalrecord/my_type/_search?size=0{ "size": 0, "aggs": { "department_group": { "terms": { "field": "departmen.原创 2018-07-06 17:56:12 · 6531 阅读 · 4 评论 -
牢记这7点,技术小白也能玩转ES
导读:Elasticsearch是目前大数据领域最热门的技术栈之一,经过近8年的发展,已从0.0.X版升级至6.X版本,虽然增加了很多的特性和功能,但是在主体架构上,还是没有太多的变化。下面就把我对于ES使用实践的一些经验总结一下,供大家参考。 一、 硬件环境选择 如果有条件,尽可能使用SSD硬盘, 不错的CPU。ES的厉害之处在于ES本身的分布式架构以及lucene的特性;I...转载 2018-09-19 12:03:45 · 437 阅读 · 0 评论 -
Logback配置文件自定义配置从Nacos动态获取+ELK
背景:springboot微服务应用需要使用logback+elk统一日志管理。配合nacos使用:springboot读取配置文件是有优先级的,如果使用默认的logback.xml或者logback-spring.xml为配置文件名则会读取不到nacos上的配置。命名为logback-spring.xml程序只会在运行后一段时间内报错,一段时间后读取到nacos上的配置文件之后会正常,但...原创 2019-07-04 20:15:39 · 15058 阅读 · 5 评论 -
Elasticsearch 5.X集群多节点角色配置深入详解
1、问题引出ES5.X节点类型多了ingest节点类型。 针对3个节点、5个节点或更多节点的集群,如何配置节点角色才能使得系统性能最优呢? 2、ES2.X及之前版本节点角色概述3、ES5.X节点角色清单由于其他几种类型节点和用途都很好理解,无非主节点、数据节点、路由节点。Ingest的用途: 1)Ingest节点和集群中的其他节点一样,但是它能够创建多个处理器管道,用以修改传入文档。类似 最常用的...转载 2018-05-07 12:03:28 · 547 阅读 · 0 评论 -
在ElasticSearch之下(图解搜索的故事)
摘要先自上而下,后自底向上的介绍ElasticSearch的底层工作原理,试图回答以下问题:为什么我的搜索 *foo-bar* 无法匹配 foo-bar ?为什么增加更多的文件会压缩索引(Index)?为什么ElasticSearch占用很多内存?版本elasticsearch版本: elasticsearch-2.2.0内容图解ElasticSearch云上的集群集群里的盒子云里面的每个白色正方...转载 2018-04-27 19:46:20 · 1289 阅读 · 0 评论 -
jest 客户端 实现 Sliced+Scroll并行查询
首先感谢 Bboss作者兼 elasticsearch交流 群主(一个非常热心的大佬) 这里直接看代码: public Map<Integer, List<JestResult>> searchSlicedScrolls(MyYangBao yangBao, QueryBuilder queryBuilders, Set<String>...原创 2018-04-02 18:27:25 · 3837 阅读 · 1 评论 -
jest 搜索删除的例子
@Test public void test13(){ JestClient jestClient = JestClientUtil.getJestClient(); //未知原因 BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery().filter(QueryBuilders.termsQuer...原创 2018-04-23 19:27:46 · 2459 阅读 · 0 评论 -
ElasticSearch 清空index数据的方法 _delete_by_query
curl工具命令:查询删除:curl -u用户名:密码 -XPOST '192.168.0.201:9200/quality_control/my_type/_delete_by_query?refresh&slices=5&pretty' -H 'Content-Type: application/json' -d'{ "query": { "match_all"...原创 2018-05-09 12:08:23 · 47085 阅读 · 0 评论 -
ElasticSearch部分搜索,导入数据场景下的优化
mapping 优化:{ "my_type": { //关闭 "所有字段"这个字段的 索引 "_all": { "enabled": false }, "properties": { "tag": { "type": "text", //索引该字段,以便可搜索,但完全按照指定的值索引值。不指定分词器。原创 2018-05-03 15:37:58 · 530 阅读 · 0 评论 -
大规模Elasticsearch集群管理心得
大规模Elasticsearch集群管理心得 转载点击打开链接 ElasticSearch目前在互联网公司主要用于两种应用场景,其一是用于构建业务的搜索功能模块且多是垂直领域的搜索,数据量级一般在千万至数十亿这个级别;其二用于大规模数据的实时OLAP,经典的如ELKStack,数据规模可能达到千亿或更多。 这两种场景的数据索引和应用访问模式上差异较大,在硬件选型和集群优化方面侧重点也会有所不同。一...转载 2018-04-25 19:32:57 · 2204 阅读 · 0 评论 -
org.elasticsearch.hadoop.rest.EsHadoopInvalidRequest: Found unrecoverable error [XXX:9200]
org.elasticsearch.hadoop.rest.EsHadoopInvalidRequest: Found unrecoverable error [XXX:9200] returned Bad Request(400) - failed to parse [XXX]; Bailing out..原创 2018-05-10 16:33:59 · 5893 阅读 · 4 评论 -
Caused by: org.elasticsearch.hadoop.EsHadoopIllegalArgumentException
Caused by: org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Cannot determine write shards for [index/type]; likely its format is incorrect (maybe it contains illegal characters?)原创 2018-05-10 19:34:36 · 6480 阅读 · 0 评论 -
ElasticSearch性能优化官方建议
ES 手册如何提高ES的性能不要返回较大的结果集ES是设计成一个搜索引擎的,只擅长返回匹配查询较少文档,如果需要返回非常多的文档需要使用Scroll。避免稀疏因为ES是基于Lucene来索引和存储数据的,所以对稠密的数据更有效。Lucene能够有效的确定文档是通过一个整数的文档id,无论有没有数据都会话费一个字节存储id。稀疏主要影响norms和doc_values,一些可以避免稀疏的推荐:避免将...转载 2018-05-04 15:41:23 · 443 阅读 · 0 评论 -
skywalking配置nacos集群模式
版本:nameversionnacos1.1.0skywalking6.2.0elasticsearch6.3.2es集群管理工具 cerebro-0.8.3 https://github.com/lmenezes/cerebro前置:es、nacos至少各有一个开始:1.将 apache-skywalking-apm-6.2.0.zip...原创 2019-07-11 17:49:04 · 6596 阅读 · 6 评论