ElasticSearch
文章平均质量分 80
果然如此
这个作者很懒,什么都没留下…
展开
-
elasticsearch中如何高效的使用filter
elasticsearch里面有BOOLfilter、AND、OR、NOTfilter,这几个看起来很相似,都有什么区别呢?什么时候用boolfilter?什么时候用AND filter呢?事实上,bool filter和AND 、OR、NOT filter 是完全不同,在查询性能上面的影响是非常大的。首先咱们需要了解的是filter里面都是怎么工作的,其中核心的一个东西叫BitSet,可以理解为一个很大的bit数组,数组里面的每个元素有2个状态:0和1(bloom filter知道么?),而f..原创 2020-09-14 18:30:43 · 1069 阅读 · 0 评论 -
Open Distro for Elasticsearch
Amzone 2019 年 3 月正式推出 Open Distro for Elasticsearch。这是 Elasticsearch 的一个增值发行版,100% 开源(采用 Apache 2.0 许可证)并且由 AWS 提供支持。Open Distro for Elasticsearch 利用了 Elasticsearch 和 Kibana 的开放源代码。个人很欣赏 Elastic 的 Shay Banon 的,他对 Amzone 的 Open Distro 应该是很不爽,但是对于现在的 Elast转载 2020-08-17 08:55:58 · 2096 阅读 · 0 评论 -
Elasticsearch发展史
简介Elasticsearch是当前比较流行的开源的分布式搜索和数据分析引擎,具备易使用、高性能、扩展性强等特点。是ElasticStack的核心组件,以其为核心构建的ELK,已经是日志分析领域的事实标准。Elasticsearch是怎么一步一步发展成熟的呢?You Know,for Search2010年2月8日, Shay Banon 发表了一篇博客,说他基于Lucene开发(封装 ???)了一个分布式搜索引擎,实现了一些功能。。。0.7.02010年5月14日发布,第一个可以查转载 2020-08-15 15:33:39 · 351 阅读 · 0 评论 -
基于open_distro的ES用户管理(授权)
基于open_distro的ES用户管理(授权)背景open distro for elasticsearch 是由亚马逊AWS支持的基于Apache License,Version 2.0协议的100%开源的Elasticsearch发行版。与Elastic公司官方的Elasticsearch版本最大的区别是:剔除了基于elastic协议发布的xpack插件,增加了开源插件。新增插件功能包括安全、告警、索引生命周期管理、性能分析、SQL等企业级功能。简单理解就是集成了开源版xpack插件的elas转载 2020-08-15 15:11:06 · 882 阅读 · 0 评论 -
基于open_distro的ES用户管理(认证)
基于open_distro的ES用户管理(认证)背景open distro for elasticsearch 是由亚马逊AWS支持的基于Apache License,Version 2.0协议的100%开源的Elasticsearch发行版。与Elastic公司官方的Elasticsearch版本最大的区别是:剔除了基于elastic协议发布的xpack插件,增加了开源插件。新增插件功能包括安全、告警、索引生命周期管理、性能分析、SQL等企业级功能。简单理解就是集成了开源版xpack插件的elas转载 2020-08-15 15:10:12 · 1507 阅读 · 0 评论 -
基于xpack的ES用户管理常用命令
"query": "{\"match\": {\"category\": \"click\"}}" } ]} 给用户赋予角色(权限) PUT /_security/user/wangzhen{ roles:[clicks_admin]} 注意事项 不设置文档级和字段级权限控制时,默认可以看到所有文档和所有字段 文档级和字段级的权限是OR的关系,如: test_role2有字段级的限制,没有文档级限制 test_rol...转载 2020-08-15 15:07:35 · 228 阅读 · 0 评论 -
基于xpack的ES用户管理(授权)
基于xpack的ES用户管理(授权)之前研究了【基于xpack的用户认证】,了解了用户认证的原理和具体操作,继续研究基于xpack的授权基本概念 RBAC Elasticsearch默认的授权管理是通过RBAC机制,也就是基于角色的访问控制(role based access control) 受保护的资源(Secured Resource) 在ES中集群、索引、文档、字段、别名、用户都可以是被保护的对象 权限字(Privilege) 每个被保护的资源都有与之对转载 2020-08-15 15:05:37 · 482 阅读 · 0 评论 -
Elasticsearch 开源版、基础版、黄金版、铂金版功能差异
从 Elastic Stack 6.8 和 7.1 版本开始,Elasticsearch 的核心安全功能(TLS 加密、原生和基于文件的身份验证,以及基于角色的访问控制)将会免费提供,并且包含在默认发发包中。各个版本功能差异情况:国内博客介绍https://blog.csdn.net/vkingnew/article/details/91549698#commentBox 官方介绍:https://www.elastic.co/cn/subscriptions...转载 2020-08-15 15:02:20 · 1962 阅读 · 0 评论 -
基于x-pack的ES用户管理(认证)
基于x-pack的ES用户管理(认证)Elasticsearch安全管理插件通过用户认证、用户授权、加密通信、审计日志、IP过滤等多种手段来保证集群的安全。领域(realms)和 领域链(realms chain)领域(realms) x-pack的安全插件可以通过用户名密码、证书、令牌和其他多种方法实现用户认证。 Elasticsearch支持通过多种后台服务实现用户认证,这些后台服务方式通称为“领域”(realms),常见的realms有:native、ldap、active_direc转载 2020-08-15 14:51:48 · 610 阅读 · 0 评论 -
elasticsearch-keystore 命令解释
elasticsearch-keystore 命令解释命令用途ES的大部分配置参数是通过明文存储在配置文件中,一般通过文件系统的所属用户、所属组和读写权限(rwx机制)提供基本的保护。但是有一些比较敏感的ES配置参数仅仅通过文件系统的权限保护是不够的,ES推出了keystore来做进一步的加密保护。命令用法 新建 高版本ES可以通过 -p 选项指定keystore存储的加密密码 # keystore的存储文件放在elasticsearch.yml的同级目录# 如:/elasti转载 2020-08-15 14:50:46 · 1558 阅读 · 0 评论 -
Elasticsearch核心技术与实战-学习笔记
Elasticsearch es 提供了四种级别的倒排索引配置 ,可以控制倒排索引记录的内容,docs 记录docid ,freqs记录doc id 和term frequencies ,positions记录 docid,term frequencies, term positions, offset 记录 dicid,term frequencies, term positions, character offset null_value 实现对 null的搜索 多字段特性转载 2020-08-15 14:45:45 · 445 阅读 · 0 评论 -
Elasticsearch7.X为什么移除类型(type)
什么是类型(type)?从Elasticsearch的第一个发布版本以来,每一个文档都被存储在一个单独的索引里,并被赋予了一个type,一个映射类型代表着一个被索引的文档或实体的类型,例如,一个twitter索引可能有一个user类型和tweet类型。每种映射类型都有他自己的字段,所以user类型可能有一个full_name字段,一个user_name字段和一个email字段,而一个tweet类型可能有一个content字段,一个tweet_at字段,和user类型一样一个user_name字段。转载 2020-08-15 14:41:28 · 428 阅读 · 0 评论 -
elasticsearch 百亿级数据检索案例与原理
一、前言 数据平台已迭代三个版本,从头开始遇到很多常见的难题,终于有片段时间整理一些已完善的文档,在此分享以供所需朋友的实现参考,少走些弯路,在此篇幅中偏重于ES的优化,关于HBase,Hadoop的设计优化估计有很多文章可以参考,不再赘述。【目前生产已存储百亿数据,性能良好(但未使用分词功能)】二、需求说明项目背景: 在一业务系统中,部分表每天的数据量...转载 2020-01-16 22:18:18 · 429 阅读 · 0 评论 -
ES系列目录
ES系列一、CentOS7安装ES 6.3.1ES系列二、CentOS7安装ES head6.3.1ES系列三、基本知识准备ES系列四、ES6.3常用api之文档类apiES系列五、ES6.3常用api之搜索类apiES系列六、ES字段类型ES系列七、ES-倒排索引基础知识ES系列八、正排索Doc Values和Field DataES系列九、ES优化聚合查询之深度...转载 2020-01-16 21:58:37 · 146 阅读 · 0 评论 -
elasticsearch 6.5.4集群 安装在centos 6.5 一主两从
系统环境3台阿里云centos 6.5 8G内存elasticsearch部署一主两从 查看centos版本lsb_release -aCentOS release 6.5 (Final) java安装(3台分别安装)yum list installed | grep javayum -y list java*yum install java-1.8.0...原创 2019-01-05 22:07:37 · 861 阅读 · 0 评论 -
ElasticSearch搜索常用命令
./plugin -i mobz/elasticsearch-head ./plugin -i elasticsearch/marvel/latestsh elasticsearch restart-------------------------plugin -url http://localhost/es/elasticsearch-jdbc-1.7.2.1-d原创 2015-10-16 18:06:48 · 1256 阅读 · 0 评论 -
ElasticSearch在centos中的集群设置
ElasticSearch在centos中的集群不指定host和端口,不能自动集群,网上有其它同学也有这个问题,只要设置以下参数:discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]*注意:上面host1如果是9300端口,不要写;配置host3加连续端口总是失败,不知什么原因原创 2015-10-15 11:26:13 · 920 阅读 · 0 评论 -
Elasticsearch 2.3.3 安装 centos 7
一、安装环境:系统:centos 7 java环境:java -versionopenjdk version "1.8.0_65"OpenJDK Runtime Environment (build 1.8.0_65-b17)OpenJDK 64-Bit Server VM (build 25.65-b01, mixed mode)原创 2016-07-07 17:09:36 · 1630 阅读 · 0 评论 -
Elasticsearch-2.3.x填坑之路
使用版本说明:2.3.2强制不能使用root用户启动?因为在2.x版本强调了安全性,防止attracker侵入root用户,所以建议使用者创建其他用户启动。当然,可以通过配置来实现root用户启动。在bin目录修改elasticsearch.in.sh文件,填加如下配置项:JAVA_OPTS="$JAVA_OPTS -Des.insecure.allow.root=true"转载 2016-07-08 10:06:55 · 946 阅读 · 0 评论 -
ES配置文件参考与参数详解
1234567891011121314151617181920212223242526272829303132333435转载 2016-07-08 10:11:11 · 4136 阅读 · 0 评论 -
Elasticsearch集群中处理大型日志流的几个常用概念
ogstash agent==>>redis==>>logstash index==>>elasticsearch==>>kibana3,对于elasticsearch集群搭建,可以把索引进行分片存储,一个索引可以分成若干个片,分别存储到集群里面,而对于集群里面的负载均衡,副本分配,索引动态均衡(根据节点的增加或者减少)都是elasticsearch自己内部完成的,一有情况就会重新进行分配。下转载 2016-07-08 10:22:54 · 735 阅读 · 0 评论 -
漫谈ElasticSearch关于ES性能调优几件必须知道的事
ElasticSearch是现在技术前沿的大数据引擎,常见的组合有ES+Logstash+Kibana作为一套成熟的日志系统,其中Logstash是ETL工具,Kibana是数据分析展示平台。ES让人惊艳的是他强大的搜索相关能力和灾备策略,ES开放了一些接口供开发者研发自己的插件,ES结合中文分词的插件会给ES的搜索和分析起到很大的推动作用。ElasticSearch是使用开源全文检索库Apach转载 2016-07-08 10:24:33 · 7157 阅读 · 0 评论 -
elasticsearch2.2 集群搭建各种坑
目前生产环境的es版本是1.0版本,需要升级到最新的2.2版本,于是在测试环境进行部署集群测试,在测试过程中遇到的坑相当多,下面详细介绍下。 1. 版本升级到2.2后,必须建一个单独的账号用于启动elasticsearch,不可以使用root账号进行启动,否则会报以下错误Exception in thread "main" java.lang.RuntimeExceptio转载 2016-07-06 11:02:02 · 907 阅读 · 0 评论 -
Elasticsearch 2.3.3 插件和集群 centos 7
一、插件1.Kibana参考文档:https://www.elastic.co/guide/en/kibana/current/index.html2.Marvel必须先安装Kibana参考文档:https://www.elastic.co/guide/en/marvel/current/index.html二、集群1.配置文件elasticsearch原创 2016-07-11 12:20:23 · 817 阅读 · 0 评论 -
centos 6.5安装Elasticsearch 5.6.3集群和Head插件
LInux:查看centos版本:lsb_release -aCentOS release 6.5 (Final)准备:java安装yum list installed | grep javayum -y list java*yum install java-1.8.0-openjdk.x86_64安装:cd原创 2017-10-27 14:14:02 · 1124 阅读 · 0 评论 -
Elasticsearch 用logstash6.1.1导入数据库报错
# bin/logstash -f my.confSending Logstash's logs to /data/eshome/logstash/logs which is now configured via log4j2.properties[2017-12-27T13:38:52,661][INFO ][logstash.modules.scaffold] Initializing原创 2017-12-27 14:29:17 · 8508 阅读 · 0 评论 -
elasicsearch suggest用法
elasicsearchsuggest用法1 第一步:要使用suggest先配置好 curl -XPUT 192.168.2.20:9200/xiaogu -d' //新建一个xiaogu的索引 { "mappings": { "product": { //这个是_type "properties": {转载 2015-10-16 18:08:48 · 4871 阅读 · 1 评论