bankq的博客

概述Elasticsearch 的 mapping 在创建 indices 时即已确定，无法更改。那么，当我们需要更新 mapping 时，该如何是好呢？基本思路当我们在创建一条索引时，添加好 mapping 后，可设置一个 alias 指向该索引，然后生产环境采用该 alias 来索引数据。当然，如果没有这样做的话，建议趁早备份，修改 API 。既然已创建的 indices 无法修改，我们可以重新创建一个新的 indices, 然后将原 indices 上的数据复制到新的 indices 上

概述记录一次自己在操作Elasticsearch数据库新增一个字段出现的问题，由于业务需求，我们需要往ES中新增了一个字段,该字段不能使用keyword类型,因为查询的时候需要对该字段进行模糊查询，这就要求我们在ES原来的模板中新增一个字段设置分词。1、设置分词ES自带了一些分词器,即在默认情况下，如果不对自己创建的索引做任何的设置和修改，ES会按照standard进行分词我业务中...

概述cardinality 度量是一个近似算法。 它是基于 HyperLogLog++ （HLL）算法的。 HLL 会先对我们的输入作哈希运算，然后根据哈希运算的结果中的 bits 做概率估算从而得到基数。优点：性能快，亿级别的记录在1秒内完成 缺点：存在只能保证最大40000条记录内的精确，超过的存在5%的误差，不适合需要精确去重场景1、示例：GET ...

概要我们常常用kibana界面化操作ES数据库，这样就使得任何人只要知道我们ES数据库的地址和端口就可以任意操作我们的数据库，这样非常不安全，由此一个基于用户认证是否有权限访问和操作我们的数据库的的需求就诞生了，然后我们找到了这个X-pack插件，它能做什么呢？X-Pack 提供以下几个级别保护elastic集群1）用户验证2）授权和基于角色的访问控制3）节点/客户端认证和信道加密...

概述在工作中，我们常常需要对setting做一些微调，这个时候我们应该如何处理？settings是针对索引库而言修改分片和副本数的。一个索引库的setting如下{ "poc2" : { "settings" : { "index" : { "refresh_interval" : "10s", "number_of_sha...

概述记录自己在工作中将ES数据库从5.2.0升级到6.X版本，ES的索引库type发生变化，由于ES6.x版本只有一种type(tyep为doc)，造成数据存在两个不同的type中，我们把ES6.x中的数据存在其他索引表中，通过建立索引名称关联5.x和6.x的数据。1、添加别名#添加别名 index :poc2 添加别名为：pocPOST /_aliases?pretty{ ...

概述记录自己在工作中将生产的数据按月保存在ES中（通过logstash采集kafka数据到ES），由于生产环境数据量比较庞大（一天的日志量大概在2500万条左右），为了后期减轻服务器压力，方便我们维护，所以需要对我们的日志进行处理，按月建立不同的ES索引库，能够查询最近6个月的日志，关闭前6个月不用的日志。创建模板如果用户每次新建一个索引的时候都需要手动创建mapping非常麻烦，es...

#!/bin/bash#配置ES的安装目录 修改的地方1 脚本可以自己创建currentTime=$(date '+%Y-%m-%d %H:%M:%S')echo -e "请输入es的安装目录,不存在脚本自动创建,最后一个/不要写 /bigdata/install"read esinstallpath#创建ES安装的目录if [ ! -d $esinstallpath ]; then...

#!/bin/bash string="aa.com bb.com" array=(${string// / }) for var in ${array[@]}do echo $varcurl -XGET "http://192.168.8.23:9200/poc/showlog/_search" -d'{ "query": { "match": { ...

自己用的es mapping文件PUT /poc6{ "settings": { "index": { "refresh_interval": "1s", "number_of_shards": 5 , "number_of_replicas": 1, "translog": { "flush_thr...

概述本文介绍的是Elasticsearch-5.2.0基于hdfs在不用的集群上快速恢复数据。环境hadoop集群环境，传送门（https://blog.csdn.net/bankq/article/details/89379825）一、ES整合HDFS集群1、安装repository-hdfsElasticsearch-5.2.0安装repository-hdfs,快速在...

elasticsearch-sql 5.2.0插件安装概述本博客基于elasticsearch5.2.0版本安装，Elasticsearch 5.x版本中，SQL功能还没有集成到Elasticsearch源码中，需要下载第三方插件后才能使用，配置过程如下：1、安装ES-SQL依赖node npmES-SQL 5.x版本以后，安装需要依赖...